Keywords
scientometric indicators
the number of articles
h-index
ratings of higher education institutions
How to Cite
Abstract
The article considers the main scientometric indicators for evaluating the effectiveness of pedagogical research of scientific institutions and educational institutions and determines the role of these indicators in the formation of international and domestic rankings of educational institutions. Thus, among the most popular indicators are the total number of publications and h-index (citation index) - data obtained from scientometric databases Scopus, Web of Science, or Google Scholar. Possibilities of the indicated scientometric databases and service Bibliometrics of Ukrainian science are analyzed: search and ordering of scientists of the institution by h-index, distribution of scientists/publications by branches of sciences/years/institutions, rating of institutions by some scientists for scientific institutions, and educational institutions of Ukraine in general and selectively. The dependence of the place of a higher education institution in world rankings on scientometric databases was studied: Times Higher Education World University Rankings topic) is 6% of the total position contribution; citations (research impact) - 30%), QS World University Rankings (citations (average number of citations in the scientometric database Scopus for 5 years per teacher, standardized by industry) - 40% of the contribution ), Transparent Ranking (citation in the scientometric database Google Scholar), Ranking Web or Webometrics (calculated based on Transparent Ranking data), and Ukrainian rankings - Top-200 Ukraine, according to Scopus and Consolidated ranking of Ukrainian universities (a significant share (or 100%) depends on the h-index Scopus). Data on the places of Ukrainian higher education institutions in world rankings are given. It is concluded that a balanced, conscious, and responsible policy of research institutions and educational institutions on the data in the profiles of employees because the presence of the institution in international rankings not only promotes the institution but also provides increased funding in general and is taken into account in the competitive evaluation state or grant funding of university and academic science.
References
В. В. Налимов, З. М. Мульченко, Наукометрия. Изучение развития науки как информационного процесса, Mосква: Наука, 1969.
Постанова Кабінету Міністрів України від 24 березня 2021 р. № 365 «Про внесення змін до постанови Кабінету Міністрів України від 30 грудня 2015 р. № 1187». [Електронний ресурс]. Доступно: https://zakon.rada.gov.ua/laws/show/365-2021-%D0%BF#n9.
Наказ Міністерства освіти і науки України від 15.01.2018 № 32 «Про затвердження Порядку формування Переліку наукових фахових видань України». [Електронний ресурс]. Доступно: https://zakon.rada.gov.ua/laws/show/z0148-18#Text.
Наказ Міністерства освіти і науки України від 23.09.2019 № 1220 «Про опублікування результатів дисертацій на здобуття наукових ступенів доктора і кандидата наук». [Електронний ресурс]. Доступно: https://zakon.rada.gov.ua/laws/show/z1086-19#Text.
Постанова Кабінету Міністрів України від 6 березня 2019 р. № 167 «Про присудження ступеня доктора філософії». [Електронний ресурс]. Доступно: https://zakon.rada.gov.ua/laws/show/167-2019-%D0%BF#Text.
Загальна інформація: НАВС. [Електронний ресурс]. Доступно: https://www.naiau.kiev.ua/naukova-diyalnist/naukometriya/zagalna-informaciya.html.
Наукометричні показники. [Електронний ресурс]. Доступно: http://library.chnu.edu.ua/?page=/ua/07services/04helpsci/0101scimetrics/.
Розрахунок індекса Хірша – МДПУ. [Електронний ресурс]. Доступно: https://mdpu.org.ua/nauka/na-dopomogu-naukovtsyam/rozrahunok-indeksa-hirsha/.
Вебінари українською Web of Science. Серпень 2021. [Електронний ресурс]. Доступно: https://discover.clarivate.com/ua_webinars.
Онлайн-тренінги та семінари Elsevier для України. [Електронний ресурс]. Доступно: https://www.elsevier.com/pl-pl/events/webinars/ukraine.
Yu. M. Hlavcheva, O. V. Kanishcheva, and N. V. Borysova, A Survey of Informetric Methods and Technologies, Cybernetics and Systems Analysis, vol. 55, no 3, pp. 503–513, 2019, doi:10.1007/s10559-019-00158-z.
В. І. Луговий, І. Ю. Регейло, Н. В. Базелюк, та О. В. Базелюк, Глобальна цифровізація освітньо-наукового простору і виклики модернізації наукової періодики НАПН України, Інформаційні технології і засоби навчання, т. 73, № 5, с. 264–283, 2019. [Електронний ресурс]. Доступно: https://journal.iitta.gov.ua/index.php/itlt/article/view/3366.
В. Ю. Биков, О. М. Спірін, А. О. Білощицький, О. Ю. Кучанський, О. В. Діхтяренко, та О. В. Новицький, Відкриті цифрові системи в оцінюванні результатів науково-педагогічних досліджень, Інформаційні технології і засоби навчання, т. 75, № 1, с. 294–315, 2020. [Електронний ресурс]. Доступно: https://journal.iitta.gov.ua/index.php/itlt/article/view/3589.
K. S. Akbash, N. O. Pasichnyk, and R. Y. Rizhniak, Analysis of key factors of influence on scientometric indicators of higher educational institutions of Ukraine, International Journal of Educational Development, vol. 81, doi:10.1016/j.ijedudev.2020.102330.
V. A. Gaisenok, O. A. Naumovich, V. V. Samokhval, and V. M. Galynsky, International ratings of higher education institutions: Analysis of results taking into account the profile of their educational and scientific activities, Vysshee Obrazovanie v Rossii, vol. 28, no 8–9, pp. 36-43, 2019, doi:10.31992/0869-3617-2019-28-8-9-36-43.
D. S. Velichenkova, D. G. Rodionov, and A. E. Skhvediani, Comparison of the methods of rating universities, in Proc. 30th IBIMA 2017 – Vision 2020: Sustain. Economic Development, Innovation Manage., and Global Growth, 2017-Jan., pp. 2057-2061.
M. Gutiérrez-Salcedo, M. Á. Martínez, J. A. Moral-Munoz, E. Herrera-Viedma, and M. J. Cobo, Some bibliometric procedures for analyzing and evaluating research fields, Applied Intelligence, vol. 48, no 5, pp. 1275–1287, 2018, doi:10.1007/s10489-017-1105-y.
J. E. Hirsch, “An index to quantify an individual's scientific research output,” in Proc. of the National Academy of Sciences of the United States of America, vol. 102, no 46, pp. 16569–16572, 2005, doi:10.1073/pnas.0507655102.
M. Ausloos, Assessing the true role of coauthors in the h-index measure of an author scientific impact, Physica A: Statistical Mechanics and its Applications, vol. 422, pp. 136–142, 2015, doi:10.1016/j.physa.2014.12.004.
M. T. Rahman, J. M. Regenstein, N. L. Abu Kassim, and N. Haque, The need to quantify authors’ relative intellectual contributions in a multi-author paper, Journal of Informetrics, vol. 11, no 1, pp. 275–281, 2017, doi:10.1016/j.joi.2017.01.002.
J. E. Hirsch, h α : An index to quantify an individual’s scientific leadership, Scientometrics, vol. 118, no 2, pp. 673–686, 2019, doi:10.1007/s11192-018-2994-1.
J. Mingers, and L. Yang, Evaluating journal quality: A review of journal citation indicators and ranking in business and management, European Journal of Operational Research, vol. 257, no 1, pp. 323–337, 2017, doi:10.1016/j.ejor.2016.07.058.
B. Hammarfelt, and A. D. Rushforth, Indicators as judgment devices: An empirical study of citizen bibliometrics in research evaluation, Research Evaluation, vol. 26, no 3, pp. 169–180, 2017, doi:10.1093/reseval/rvx018.
A. Y. Gasparyan, M. Yessirkepov, A. Duisenova, V. I. Trukhachev, E. I. Kostyukova, and G. D. Kitas, Researcher and author impact metrics: Variety, value, and context, Journal of Korean Medical Science, vol. 33, no 18, 2018, doi:10.3346/jkms.2018.33.e139.
L. Bornmann, and L. Leydesdorff, Count highly-cited papers instead of papers with h citations: Use normalized citation counts and compare “like with like”!, Scientometrics, vol. 115, no 2, pp. 1119–1123, 2018, doi:10.1007/s11192-018-2682-1.
M. A. Meyers, and H. Quan, The use of the h-index to evaluate and rank academic departments. Journal of Materials Research and Technology, vol. 6, no 4, pp. 304–311, 2017, doi:10.1016/j.jmrt.2017.09.004.
G. Kaptay, The k-index is introduced to replace the h-index to evaluate better the scientific excellence of individuals, Heliyon, vol. 6, no 7, 2020, doi:10.1016/j.heliyon.2020.e04415.
Наукометричні показники вченого (автора) – індекс цитування, Хірша. [Електронний ресурс]. Доступно: https://ua.publ.science/uk/blog/glavnyye-pokazateli-nauchnoy-deyatelnosti-uchenogo-i-organizatsii.
Доступ до Scopus та Web of Science. [Електронний ресурс]. Доступно: https://nim.media/articles/dostup-do-web-of-science-ta-scopus-vidkrito.
Наказ Міністерства освіти і науки України від 29 травня 2020 р. № 721 «Про надання доступу закладам вищої освіти і науковим установам до електронних наукових баз даних та визнання такими, що втратили чинність, деяких наказів Міністерства освіти і науки України». [Електронний ресурс]. Доступно: https://mon.gov.ua/ua/npa/pro-nadannya-dostupu-zakladam-vishoyi-osviti-i-naukovim-ustanovam-do-elektronnih-naukovih-baz-danih-ta-viznannya-takimi-sho-vtratili-chinnist-deyakih-nakaziv-ministerstva-osviti-i-nauki-ukrayini.
Бібліометрика української науки від Google Scholar і Scopus. [Електронний ресурс]. Доступно: http://nbuviap.gov.ua/bpnu/.
Постанова Кабінету Міністрів України від 24 грудня 2019 р. № 1146 «Про розподіл видатків державного бюджету між закладами вищої освіти на основі показників їх освітньої, наукової та міжнародної діяльності». [Електронний ресурс]. Доступно: https://zakon.rada.gov.ua/laws/show/1146-2019-%D0%BF#Text.
REFERENCES (TRANSLATED AND TRANSLITERATED)
V. V. Nalimov, and Z. M. Mul'chenko, Sciometrics. The study of the development of science as an information process, Moscow: Nauka, 1969. (in Russian)
Decree of the Cabinet of Ministers of Ukraine from March 24, 2021 № 365 “On Amendments to the Resolution of the Cabinet of Ministers of Ukraine No. 1187 of Dec. 30, 2015”. [Online]. Available: https://zakon.rada.gov.ua/laws/show/365-2021-%D0%BF#n9. (in Ukrainian)
Order of the Ministry of Education and Science of Ukraine from 15.01.2018 № 32 “On approval of the Procedure for forming the List of scientific professional publications of Ukraine”. [Online]. Available: https://zakon.rada.gov.ua/laws/show/z0148-18#Text. (in Ukrainian)
Order of the Ministry of Education and Science of Ukraine from 23.09.2019 № 1220 “On publication of the results of dissertations for the degree of doctor and candidate of sciences”. [Online]. Available: https://zakon.rada.gov.ua/laws/show/z1086-19#Text. (in Ukrainian)
Decree of the Cabinet of Ministers of Ukraine from March 6, 2019 № 167 “On the awarding of the degree of Doctor of Philosophy”. [Online]. Available: https://zakon.rada.gov.ua/laws/show/167-2019-%D0%BF#Text. (in Ukrainian)
General Information: NAIA. [Online]. Available: https://www.naiau.kiev.ua/naukova-diyalnist/naukometriya/zagalna-informaciya.html. (in Ukrainian)
Sciometric indicators. [Online]. Available: http://library.chnu.edu.ua/?page=/ua/07services/04helpsci/0101scimetrics/. (in Ukrainian)
Hirsch Index Calculation – MSPU. [Online]. Available: https://mdpu.org.ua/nauka/na-dopomogu-naukovtsyam/rozrahunok-indeksa-hirsha/ (in Ukrainian)
Webinars Web of Science in Ukrainian. Aug 2021. [Online]. Available: https://discover.clarivate.com/ua_webinars. (in Ukrainian)
Elsevier Online Trainings and Seminars for Ukraine. [Online]. Available: https://www.elsevier.com/pl-pl/events/webinars/ukraine. (in Ukrainian)
Yu. M. Hlavcheva, O. V. Kanishcheva, and N. V. Borysova, A Survey of Informetric Methods and Technologies, Cybernetics and Systems Analysis, vol. 55, no 3, pp. 503–513, 2019, doi:10.1007/s10559-019-00158-z. (in English)
V. I. Luhovyi, I. Yu. Reheilo, N. V. Bazeliuk, and O. V. Bazeliuk, Global digitisation of the education and research area and challenges in modernising the scientific periodicals of NAES of Ukraine, Information Technologies and Learning Tools, vol. 73, no 5, pp. 264–283, 2019. [Online]. Available: https://journal.iitta.gov.ua/index.php/itlt/article/view/3366. (in Ukrainian)
V. Yu. Bykov, O. M. Spirin, A. O. Biloshchytskyi, A. Yu. Kuchansky, O. V. Dikhtiarenko, and O. V. Novytskyi, Open digital systems for assessment of pedagogical research results, Information Technologies and Learning Tools, vol. 75, no 1, pp. 294–315, 2020. [Online]. Available: https://journal.iitta.gov.ua/index.php/itlt/article/view/3589. (in Ukrainian)
K. S. Akbash, N. O. Pasichnyk, and R. Y. Rizhniak, Analysis of key factors of influence on scientometric indicators of higher educational institutions of Ukraine, International Journal of Educational Development, vol. 81, doi:10.1016/j.ijedudev.2020.102330. (in English)
V. A. Gaisenok, O. A. Naumovich, V. V. Samokhval, and V. M. Galynsky, International ratings of higher education institutions: Analysis of results taking into account the profile of their educational and scientific activities, Vysshee Obrazovanie v Rossii, vol. 28, no 8–9, pp. 36-43, 2019, doi:10.31992/0869-3617-2019-28-8-9-36-43. (in English)
D. S. Velichenkova, D. G. Rodionov, and A. E. Skhvediani, Comparison of the methods of rating universities, in Proc. 30th IBIMA 2017 – Vision 2020: Sustain. Economic Development, Innovation Manage., and Global Growth, 2017, pp. 2057-2061. (in English)
M. Gutiérrez-Salcedo, M. Á. Martínez, J. A. Moral-Munoz, E. Herrera-Viedma, and M. J. Cobo, Some bibliometric procedures for analyzing and evaluating research fields, Applied Intelligence, vol. 48, no 5, pp. 1275–1287, 2018, doi:10.1007/s10489-017-1105-y. (in English)
J. E. Hirsch, “An index to quantify an individual's scientific research output,” in Proc. of the National Academy of Sciences of the United States of America, vol. 102, no 46, pp. 16569–16572, 2005, doi:10.1073/pnas.0507655102. (in English)
M. Ausloos, Assessing the true role of coauthors in the h-index measure of an author scientific impact, Physica A: Statistical Mechanics and its Applications, vol. 422, pp. 136–142, 2015, doi:10.1016/j.physa.2014.12.004. (in English)
M. T. Rahman, J. M. Regenstein, N. L. Abu Kassim, and N. Haque, The need to quantify authors’ relative intellectual contributions in a multi-author paper, Journal of Informetrics, vol. 11, no 1, pp. 275–281, 2017, doi:10.1016/j.joi.2017.01.002. (in English)
J. E. Hirsch, h α : An index to quantify an individual’s scientific leadership, Scientometrics, vol. 118, no 2, pp. 673–686, 2019, doi:10.1007/s11192-018-2994-1. (in English)
J. Mingers, and L. Yang, Evaluating journal quality: A review of journal citation indicators and ranking in business and management, European Journal of Operational Research, vol. 257, no 1, pp. 323–337, 2017, doi:10.1016/j.ejor.2016.07.058. (in English)
B. Hammarfelt, and A. D. Rushforth, Indicators as judgment devices: An empirical study of citizen bibliometrics in research evaluation, Research Evaluation, vol. 26, no 3, pp. 169–180, 2017, doi:10.1093/reseval/rvx018. (in English)
A. Y. Gasparyan, M. Yessirkepov, A. Duisenova, V. I. Trukhachev, E. I. Kostyukova, and G. D. Kitas, Researcher and author impact metrics: Variety, value, and context, Journal of Korean Medical Science, vol. 33, no 18, 2018, doi:10.3346/jkms.2018.33.e139. (in English)
L. Bornmann, and L. Leydesdorff, Count highly-cited papers instead of papers with h citations: Use normalized citation counts and compare “like with like”!, Scientometrics, vol. 115, no 2, pp. 1119–1123, 2018, doi:10.1007/s11192-018-2682-1. (in English)
M. A. Meyers, and H. Quan, The use of the h-index to evaluate and rank academic departments. Journal of Materials Research and Technology, vol. 6, no 4, pp. 304–311, 2017, doi:10.1016/j.jmrt.2017.09.004. (in English)
G. Kaptay, The k-index is introduced to replace the h-index to evaluate better the scientific excellence of individuals, Heliyon, vol. 6, no 7, 2020, doi:10.1016/j.heliyon.2020.e04415. (in English)
Scientometric indicators of a scientist (author) – citation index, Hirsch. [Online]. Available: https://ua.publ.science/uk/blog/glavnyye-pokazateli-nauchnoy-deyatelnosti-uchenogo-i-organizatsii. (in Ukrainian)
Access to Scopus and Web of Science. [Online]. Available: https://nim.media/articles/dostup-do-web-of-science-ta-scopus-vidkrito. (in Ukrainian)
Order of the Ministry of Education and Science of Ukraine from May 29, 2020 № 721 «On provision of access to electronic scientific databases to institutions of higher education and scientific institutions and invalidation of some orders of the Ministry of Education and Science of Ukraine». [Online]. Available: https://mon.gov.ua/ua/npa/pro-nadannya-dostupu-zakladam-vishoyi-osviti-i-naukovim-ustanovam-do-elektronnih-naukovih-baz-danih-ta-viznannya-takimi-sho-vtratili-chinnist-deyakih-nakaziv-ministerstva-osviti-i-nauki-ukrayini. (in Ukrainian)
Bibliometrics of Ukrainian Science from Google Scholar and Scopus. [Online]. Available:http://nbuviap.gov.ua/bpnu/. (in Ukrainian)
Decree of the Cabinet of Ministers of Ukraine from December 24, 2019 № 1146 «On the distribution of state budget expenditures among universities based on indicators of their educational, scientific and international activities». [Online]. Available: https://zakon.rada.gov.ua/laws/show/1146-2019-%D0%BF#Text. (in Ukrainian)
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Copyright (c) 2021 Валерій Биков, Олег Спірін, Світлана Іванова, Тетяна Анатоліївна Вакалюк, Ірина Мінтій, Алла Кільченко