Russian (CIS)English (United Kingdom)

Счастье в жизни – то чего ты достиг. Смысл жизни – все те, кто тебя любят. Н.Н.Полозова

УРОВЕНЬ ПЕРСОНАЛЬНОЙ РЕЙТИНГОВОЙ ОЦЕНКИ

ЦИТИРУЕМОСТЬ РОССИЙСКИХ УЧЕНЫХ

Цитатами следует пользоваться тогда, когда действительно не обойтись без чужого авторитета. А.Шопенгауэр.

В России около 1 миллиона ученых. Объем интеллектуальной продукции в мире по разным оценкам удваивается каждые десять лет. Давайте посмотрим на процесс управления наукой со стороны государственной власти. Кого поддерживать, кому, прежде всего, помогать? Есть ограниченный финансовый ресурс. Как его распределить? Дать больше тому, кто громче просит? Или за кого ходатайствуют? Или всем поровну – лишь бы не было обиженных? Вряд ли кто-нибудь из нас захотел бы оказаться в роли судьи в такой ситуации. Ученые не должны винить во всех бедах государство, поскольку сами ученые не выработали общепризнанного ими же критерия, по которому государство должно их ранжировать.
Вопрос о рейтинге в науке носит предопределяющий характер для организации научной деятельности. Если бы был объективный критерий в каждой сфере науки, то тогда найти обладателя гранта не представляло проблемы. Отсутствие такого критерия, в частности, привело к тому, что долгое время 95% всех грантов РФФИ распределялось среди московских и питерских ученых. Тема рейтинга вообще чрезвычайно запутана. Вряд ли можно найти человека, который знаком со всеми изобретениями создателей рейтинга. Поэтому всегда интересно узнать прогноз такого решения исходя из тенденции развития темы рейтинга.
На сегодняшний день основной критерий оценок в этой области – валовой показатель числа публикаций. Деформация этого параметра в существующий  индекс цитируемости дискредитирует себя тем, что в неявном виде продолжается та же тенденция неявной зависимости от  числа  публикаций.  Если валовая цитируемость – рейтинг, то как тогда определять уровень активности ученого?  Реальный рейтинг никак не  зависит  от числа публикаций. Только от уровня работы.
Любая статья по цитируемости в науке начинается со страшилки – наука разваливается и если не дать больше денег развалится окончательно. Дайте денег! При этом авторы испытывают большие трудности с доводами.
« Стагнация российской науки связана, кроме прочего, с ее структурой. В отличие от экономики и социума в целом, сектор R&D с советского времени не претерпел радикальной трансформации. Фундаментальная наука по-прежнему сохраняется в НИИ Российской академии наук. А прикладная наука, чье положение еще хуже, остается отраслевой и управляется десятками ведомств и малых академий, иногда в процесс вмешивается Росимущество. Вузовская наука контролируется Минобрнауки, его агентствами, отраслевыми ведомствами и регионами.
До кризиса финансирование науки росло довольно заметно. С 2000 по 2006 гг. суммарные расходы на науку выросли примерно в 2.25 раза в постоянных ценах, подсчитал Институт статистических исследований и экономики знаний ВШЭ. Бюджетные расходы на науку в этом году должны были вырасти почти наполовину – с 168,3 млрд руб. в 2008 г. до 251,4 млрд руб. (0,5% ВВП).
Численность исследователей хоть и сократилась со времен СССР, по-прежнему составляет около 350-400 тыс. человек. Это примерно столько же, сколько в Германии и Великобритании вместе взятых. Наукой в стране занимаются, по данным Росстата, около 3500 организаций, из них 2500 подконтрольны государству.
При этом по научным публикациям и их цитированию Россия давно выпала из первой десятки стран мира. В промышленности инновациями занимаются всего 10% предприятий, российские вузы не входят в число лучших ни по одному мировому рейтингу, а по количеству триадических патентов (защита в Европе, США и Японии) мы занимаем почетное 24-е место. Все это приводит к выводу, что госсредства на R&D в России расходуются крайне неэффективно»
Среди первых попыток классифицирования российских ученых был к. ф-м. н. Борис Штерн.  (http://www.scientific.ru). «В рамках проекта Scientific.ru мы просуммировали данные Института научной информации (ISI, Web of Science",) по индексу цитируемости (число ссылок на работы данного автора) для всех российских академиков (450 человек Данные ISI отражают число цитирований работ опубликованных где угодно и когда угодно, но сами цитирования учитываются только с 1986 года и только те, которые появились в одном из реферируемых журналов из определенного списка. Основные российские журналы входят в этот список, т.е. ссылки из них тоже входят в статистику. Нашим основным аргументом в пользу ISI является то, что эта база данных равномерно покрывает все области науки, что принципиально важно при составлении подобных списков. Распределение (см. рисунок, где оно приведено в логарифмической шкале) поражает своей шириной - от нуля цитирований до почти 11000 (Владимир Арнольд, математик). Все, у кого индекс цитируемости превышает 1000, перечислены поименно, с дополнительными данными на сайте. Средний индекс довольно высокий - 660, однако он натягивается за счет хвоста распределения - небольшого числа авторов с индексом цитируемости в несколько тысяч. В таких случаях полезно медианное значение, разбивающее распределение на две равные части. Оно равно 220, что примерно соответствует уровню нормального доктора одной из естественных наук.
Наиболее высокий индекс цитируемости у математиков. Из лидеров по цитируемости, кроме Арнольда, И.Гельфанд (7454) и Л.Фаддеев (6700) являются математиками. Затем идут другие естественные науки: физика, биология, химия, геология. А гуманитарные науки сильно отстают. Никто из гуманитариев не перевалил за 1000 цитирований. Лидерами здесь являются Н.И.Шведова (747) и Д.С.Лихачев (663). Интересно сравнить цитируемость академиков с цитируемостью простых смертных. Для последних мы сделали случайную выборку (~130 человек) среди российских авторов Архива е-принтов по физике и математике. Результат в 3 раза ниже, чем у академиков, при таком же соотношении среднего (230) и медианного (79) значений. Однако прямое сравнение в данном случае некорректно: с одной стороны, средний возраст авторов Архива е-принтов намного меньше, а индекс цитирования растет с возрастом автора. С другой стороны, в Архиве е-принтов только физика и математика, где цитируемость вообще выше. По случаю приведем также данные, прямо не относящиеся к теме сообщения: средний индекс цитируемости иностранных авторов Архива е-принтов в полтора раза выше, чем у российских. Учитывая традиционную изоляцию российских ученых, которая в значительной степени сохранилась до настоящего времени, эта разница меньше, чем можно было ожидать. Во многих случаях низкий индекс цитируемости академика не означает его малый вклад в прогресс. Например, у Сергея Королева вряд ли есть какой-то индекс цитируемости. Точно так же трудно требовать высокого индекса цитируемости от директоров крупных институтов (если, конечно, они не подписывают все статьи подчиненных).
Фактически, то, что приводим в списках есть "грязный индекс": полное количество ссылок на работы, где данный человек фигурирует в качестве автора или соавтора. Индекс не делится на число соавторов, самоцитирования не вычитаются. Этот подход выбран не по принципиальным, а по техническим причинам - он упрощает задачу более чем на порядок.   Особо стоит сказать о числе цитированных публикаций данного автора. Оно оказывается крайне неточным, точнее, завышенным из-за ошибочных ссылок. Например, на данную работу N сослались 100 раз. В трех случаях перепутана страница, в двух - год публикации, в двух неточно назван журнал. Каждая ошибочная ссылка при автоматической обработке идет отдельной строкой. Таким образом, если ошибки не повторяются, данная публикация засчитывается как 8, одна с 93 цитированиями, 7 по одному. Тем не менее, мы приводим суммарное число работ для примерной ориентировки.
Не будучи в состоянии дать чистый индекс цитируемости,  установили простейший фильтр для тех, кто публикуется только в больших коллективах соавторов. Единственная информация о соавторах, которую ISI выдает сразу - это является ли данный человек первым в списке соавторов или не первым. Наше условие заключается в том, чтобы человек получил минимум 300 цитирований в качестве первого автора для списка "> 1000" и минимум 30 для списка "> 100 за 7 лет". К сожалению, во многих областях придерживаются традиции алфавитного порядка, поэтому результат зависит от фамилии автора. Увы, "дешевого" и адекватного решения здесь просто не существует. Мы вообще не рассматривали большие списки соавторов крупных экспериментов по физике частиц. Они будут рассмотрены отдельно, как коллаборации, где индекс цитируемости будет присваиваться целой коллаборации, естественно, с указанием списка участников».
В области изучения индекса цитируемости (далее ИЦ) в науке наиболее сильное впечатление оставляет работа к. ф-м.н. Бориса Штерна в рамках проекта Scientific.ru и публикаций в «Независимой газете». Рекордсменом по цитируемости (11 000) стал математик Владимир Арнольд. К сожалению, Б. Штерн увлекся валовым подходом и не смог предложить качественной модели. Цитируемость зависит от возраста, не корректируется числом соавторов, самоцитирования не вычитаются. Но главное – нет качественной идеи. Предположим, что мы договорились с г-ном Б. Штерном и начинаем дружески, по поводу и без повода, ссылаться друг на друга. Если мы привлечем в эту игру еще кого-то, и будем писать только ради ссылок, то мы вполне сможем обойти большинство академиков. Такая цитируемость не защищена от инфляции.
Другой серьезной работой в сфере изучения индекса цитирования является публикация в «Поиске» (№14, 2005) председателя правления Московского физического общества Генри Нормана. Суть работы достаточно традиционна: исключить самоцитирования, исключить ссылки соавторов внутри одного научного клана, принимать к рассмотрению ссылки за последние 5-10 лет,  каждому соавтору присвоить отражающий его вклад коэффициент. Это неплохие лозунги, но как, например, определить - относится ученый к данному клану или нет? Кто это будет делать – ФСБ или кто-то другой? Словом, предложен набор заплаток к хижине дяди Тома. К этому почти ритуальному набору средств корректировки индекса цитирования добавлены аспекты, которым, по признанию автора,  невозможно противостоять: способность администраторов от науки приклеиться к содержательной работе, нежелание ученых давать ссылки на своих коллег, плагиат со стороны иностранных ученых. Г. Норман признает, что ИЦ сильно зависит от направления научной деятельности. Преимущество получают те направления в науке, где больше специализированных журналов. К сожалению, Г. Норман забыл о других недостатках ИЦ. Например, ссылка на работу, данная  академиком равна по значимости ссылке на работу соискателя или студента. С другой стороны, вызывает сожаление тот факт, что к предлагаемому решению необходимо принимать сразу столько корректировок.
Валовая цитируемость не имеет перспективы еще и по совершенно другой причине. Число ученых в РФ не менее 300 000 – 400 000 человек. Только в России! И всех их надо проранжировать. Когда речь идет о верхушке этого научного айсберга, то валовая цитируемость действительно показывает нам самых талантливых и трудолюбивых. Однако реальные проблемы возникнут при попытке растащить всю эту группу ученых по шкале цитируемости. Эти сотни тысяч человек сначала надо разделить по направлениям деятельности, которые у нас слабо регламентированы. Теперь представьте себе ситуацию, что некий талант А выдвигает концепцию А и занимает с ней верх цитируемости. Его работа служит основой для нового направления В автора В. Он дал ссылку на А и продолжает работу. Однако эта работа вязнет в необходимости решения проблемы С, которую решает автор С. Он дал ссылку на В. При этом он не знает о существовании автора А. С автором С работает лаборатория под руководством автора Д, который какую-то часть проблемы С решил. Он дал ссылку на С, а авторов В и А он не знает. Теперь посчитаем их валовую цитируемость. При равной печатной активности она будет равна. Автор получит ссылки только тех, кто непосредственно использует его работу и не получит ссылок от тех, кто решает частные, составные задачи его исследования. Поэтому индекс цитирования  имеет смысл только тогда, когда выделяется верхушка ученых (несколько сот человек), а ссылки остальных не учитываются. Это происходит в форме выбора небольшого числа журналов для оценки. Только самые, самые из них. Но в любом случае, валовая цитируемость может быть критерием только для самого верхнего слоя.  Рейтинг – это стимул. Оставить стимул для верхней 1000 ученых и лишить его всех остальных 400 тысяч нецелесообразно. Для того, чтобы «включить» в конкурс остальных ученых необходимо задействовать все журналы, а не самые престижные. Но ведь тогда цитируемость не то чтобы сравняется. Она в значительной степени нивелируется. При равной активности академики просто утонут в информационном потоке, мало чем будут отличаться от остальных. Валовая цитируемость имеет смысл только при ее подсчете на основе небольшого числа элитных журналов. В итоге, от такой цитируемости все откажутся. Только по одной этой причине. А ведь есть еще и другие. Рейтинг не защищен от инфляции. Теперь представьте, что финансирование науки или ученых будет зависеть от их  цитируемости. В этом случае, если Вы директор НИИ или лаборатории, подписывающий все работы подряд, то почему бы не воспользоваться ситуацией? Это приведет к многочисленным скандалам. Ну и что? Кто на  них сейчас обращает внимание?  Таким образом, валовая цитируемость бесперспективна.
Что же такое рейтинг или его модификация в виде ИЦ? Это результат конкурса, противостояния, если хотите, то соревнования. А что такое рейтинг в спорте? В спорте рейтинг – это смещенный в область целых положительных чисел результат участника тотального гипотетического годичного макротурнира. Для науки целесообразно не ограничивать временной интервал. Если согласиться с этим определением, то рейтинг ученого станет результатом его противостояния с другими учеными, занимающимися той же проблемой. При этом в качестве арбитра выступит все мировое сообщество ученых, занимающихся данной проблемой.  Каждый автор, создавая свою работу, дает ссылки на других авторов, работы которых он развивает. Значит, есть ссылки в самой работе (исходящие) и на эту работу (входящие). Очевидно, что если баланс таких ссылок положителен, внешних ссылок на работу больше, чем внутренних, то это и есть искомый информационный критерий. Дать ссылку на работу означает признать превосходство данного автора над Вами. Получить ссылку – это равносильно согласию на Ваш приоритет. В итоге, есть авторы, которых Вы своими ссылками ставите выше себя, а есть те, которые ставят Вас выше себя. Давая ссылки, получая ссылки Вы участвуете в формировании иерархии шкалы рейтинга ученых. Но кроме Вас в этом процессе участвуют и другие ученые. Итоговый результат – шкала рейтинга отражает мнение всех ученых.  Ученые всегда резко возражают, когда их ранжируют сторонние люди. В данном случае они будут ранжировать сами себя и им будет не к кому предъявлять претензии.  Для того чтобы ссылка академика «стоила» больше ссылки студента придется создавать систему линейных уравнений. Если я – автор А, то свободный член моего уравнения в общей системе линейных уравнений будет состоять из умноженной на 1000 (масштабный коэффициент – в рейтинге нет десятых, сотых) отношения разницы входящих и исходящих ссылок к их сумме. При этом из рейтинга автора А вычитаются рейтинги остальных авторов, взятых с удельным весом их входящих или исходящих ссылок   на автора А от общего их числа. Если все остальные ученые дали  или получили равное число ссылок  автора А, то тогда уравнение принимает особенно простой вид - рейтинг автора А минус средний рейтинг всех контактирующих с его работами авторов будет равен свободному члену, зависящему от баланса ссылок. Уравнения можно посмотреть в (Полозов, 2007).
Приведем аналогию из спорта. Ссылки - это что-то вроде забитых и пропущенных голов в футболе. Если Вы встречаетесь с аутсайдером, рейтинг которого на 500 пунктов ниже Вашего, то Вы должны обыгрывать его со счетом 3:1. (Возвращаясь к ссылкам – оппонент дал на Вас 3 ссылки, а Вы на него 1). А Вы «обыграли» его 4:1. В этом случае Ваш рейтинг после игры увеличится. Разница в рейтингах линейно связана с балансом ссылок.
В этом случае ссылка академика (ученого с большим рейтингом) будет иметь намного большее значение, чем ссылка студента (ученого с низким рейтингом). Решение СЛУ не состоится, если мы смешаем авторов из различных направлений. У каждой проблемы в каждой области исследования будет своя СЛУ, в которой каждому автору соответствует свое уравнение.  Важно также то, что система прозрачна. После подведения итогов за год любой автор может проверить «свое» уравнение на сходимость по известным рейтингам других ученых и балансу ссылок и это гарантирует корректность подведения итогов. Целесообразно оговорить минимальное число  ссылок для включения в СЛУ. Если  это число небольшим, то одному и тому же рейтингу будут соответствовать сразу несколько авторов.

Теперь давайте посмотрим, как предложенный вариант рейтинга цитируемости «разберется» с традиционными проблемами ИЦ.

Соавторство. Что такое соавторство? Соавторство позволяет заменить несколько статей одной статьей. Это еще одна ссылка в работе. Поэтому, если в статье 10 соавторов и 1  ссылка, то общее число внутренних ссылок для данного автора равно 10. Включение нового соавтора «приземляет» рейтинг работы. Ссылки ученых друг на друга из одного клана ничего дать не могут. Если Вы сослались на меня, а я на Вас, то наш баланс внутренних и внешних ссылок никак не изменился. Мы будем оба зависеть от ссылок других ученых. Поэтому смысла далее ссылаться друг на друга просто нет.

Соавторство администраторов от науки. Ссылки из «соседних» областей не принимаются во внимание, так как это разные СЛУ. Поэтому администратор будет вынужден «выбрать» себе область «деятельности», а не «работать» по всем направлениям. Администратор может «участвовать» только как соавтор. Поэтому высокого рейтинга уже не будет. Еще более кардинальным средством уничтожения участия бюрократии в публикации является указание в тексте имени соавтора, ответственного за данное суждение, решение, тезис.  Включение в список соавторов руководителя организации снижает цитируемость остальных. Снижение рейтинга ученого автоматически снижает его шансы на гранд, другие формы финансирования и, скорее всего, не может быть покрыто «помощью» администратора в обмен на соавторство.

Ссылки на самого себя. Вообще не учитываются в СЛУ. Если в работе  нет ссылок или есть ссылки на собственные работы этого же автора, то она остается  вообще в положении «вне игры».

Нежелание давать ссылки на своего коллегу. Отсутствие такой ссылки будет компенсировано другими, более объективными ссылками. Поскольку такое нежелание носит обычно взаимный характер, то рейтинг обоих конкурентов вообще никак не изменится.

Зависимость  рейтинга от числа публикаций. Это то преимущество, которое имеют московские авторы, администраторы от науки. Так сказать, административный ресурс ученых. Парадокс в том, что при переходе от прежнего валового показателя к рейтингу цитируемости в наихудшем положении, скорее всего, окажутся чемпионы по валовым параметрам. У них может быть просто отрицательный баланс ссылок и, как следствие, заниженный рейтинг. Слишком большое число публикаций затрудняет получение ссылок на них, поскольку в изучении публикаций мы располагаем ограниченным ресурсом времени.
Оценка диссертаций. Никакой Совет не может быть более компетентен всего сообщества ученых, занимающихся данной проблемой. Совет может быть подобием такого сообщества. Инфляция ученой степени обусловлена тем, что очень редко члены Совета непосредственно занимались или сталкивались с рассматриваемой проблемой. С другой стороны, между членами Совета часто возникают войны. Если Вы «завалили» моего соискателя, то я дальше «заваливаю» Вашего. Общеизвестно, что если совет не заслушает определенное число работ в год, то его закроют. В итоге совет вынужден быть лояльным, иначе соискатели будут обходить его стороной и заветного числа защит недобрать. В итоге, только в педагогике ежегодно в России защищается около 800 работ, но ощущения прорыва  нет. Нужно все оценки привести к общему знаменателю. Необходимо официально, на уровне решения ВАКа, допускать к защите только работы тех авторов, рейтинг которых выше определенной планки. Хотя бы выше среднего значения рейтинга.
Непосредственным организатором такой работы, по моему убеждению, должен быть ВАК. Этот грандиозный труд не может быть частной инициативой. Функция ВАК не должна ограничиваться разовыми оценками кандидатских или докторских притязаний, а сводиться к непрерывному мониторингу работы всех ученых. В каждой области научных знаний он должен назначить несколько десятков ежегодно реферируемых им изданий.
Есть ряд предложений по решению проблемы рейтинга ученых и нет желания самих ученых консолидироваться вокруг одного из них. Ученые сами страдают от собственной не способности к консолидации




Энциклопедия рейтингов: экономика, общество, спорт / Карминский А.М., Полозов А.А., Ермаков С.П. - М.: ЗАО ИД "Экономическая газета", 2011. - 349 с