Резолюция по итогам круглого стола «Рейтинги и перечни журналов: подходы и методы оценки их качества»

(в рамках 9-й Международной научно-практической конференции «Научное издание международного уровня – 2021: мировые тенденции и национальные приоритеты» АНРИ, 24–27 мая 2021 года)

По итогам круглого стола выдвинуты и поддержаны следующие предложения:

1. Любые рейтинги должны иметь опубликованную и подробно описанную концепцию. Различия в миссиях университетов или организаций требуют различных подходов к оценке научных изданий и использования различных показателей. Ввиду того, что выбор показателей, применяемых для оценки изданий зависит от единицы оценки, оцениваемого аспекта издания, а также задач, целей и контекста политики оценивания, каждый университет или организация (далее – организация) создает индивидуальную методику, а значит и индивидуальный рейтинг, отвечающий конкретным целям, которые не обязаны соотноситься с целями другой организации. Так показатели, разработанные для достижения конкретной цели одной организации, могут не отвечать целям другой организации. Оценка, выражаемая каждым перечнем, рассматривается как комбинация методов, которые можно моделировать, изменять и комбинировать так, чтобы окончательная оценка научного издания соответствовала целям и задачам, поставленным перед оценивающей организацией. Учитывая неоднородность рейтингов и стремясь сохранить их многообразие, необходимо предложить матрицу консолидированного многомерного методологического подхода, учитывающую различные потребности, интересы и цели организаций и определяющую требования к данным и показателям.

2. В целом, мы полагаем, что Берлинские принципы, обеспечивающие качество ранжирования, актуальны и, потому, в сокращенном виде излагаем их в данной резолюции. 

3. Рейтинги должны быть максимально прозрачны и понятны (в том числе с точки зрения описания методологии и используемых критериев оценки).

4. Рейтинги должны отображать многообразие университетов и других организаций и их целей.

5. Рейтинги должны быть ориентированы на определенные целевые группы пользователей. 

6. При рейтинговании необходимо выбирать показатели в соответствии с их актуальностью и обоснованностью. Выбор данных должен быть основан на признании способности каждого показателя отражать академические, научные или институциональные характеристики, а не на доступности данных. Необходимо предоставлять четкое обоснование, почему показатели были включены и что они должны представлять.

7. При составлении рейтингов и перечней необходимо применять меры по обеспечению качества к самим процессам ранжирования; необходимо по возможности использовать проверенные и верифицированные данные. 

8. Рейтинги должны быть одним из ряда разнообразных подходов к оценке научных изданий. Рейтинги могут предоставить сравнительную информацию и улучшить понимание научных изданий, но не должны быть основным методом оценки того, научные издания являются. 

9. Необходимо наладить межинституциональное взаимодействие в части обмена: концептуальными идеями построения внутренних рейтингов изданий и издательств, способами оценки журналов и самими «белыми» списками журналов.

10. Предлагается в рамках АНРИ создать рабочую группу, состоящую из активных коллег-представителей университетов, НИИ и других заинтересованных организаций, чья деятельность будет направлена на развитие межинституциональных коллабораций по вопросам формирования рекомендуемых списков журналов, выработки общего подхода к формированию рейтингов с учетом безусловно применимых (по частоте применения) критериев, «частных» критериев и формирования БД «Белых» журналов, в которые вливаются журналы различных рейтингов и создается единый «белый список» журналов, распределенный с учетом интересов и запросов стейкхолдеров.

11. Важно выстроить коммуникацию между организациями, публикующими влиятельные для научных организаций рейтинги журналов и самими университетами. АНРИ могла бы стать таким проводником, аккумулирующим все предложения коллег и перенаправляющим поток уже структурированной и обработанной информации в виде конкретных, аргументированных предложений создателям рейтингов. В первую очередь такое рациональное сотрудничество предполагается выстроить с коллегами из РАН, РИНЦ, ВАК, РИЭПП и другими заинтересованными организациями.