OPEN DIGITAL SYSTEMS FOR ASSESSMENT OF PEDAGOGICAL RESEARCH RESULTS

Keywords: assessment, open access, scientometric database, pedagogical research, research product

Abstract

The paper features the specifics of conducting pedagogical research as a type of research in the field of social sciences and the humanities. The authors have studied the requirements and provisions of existing national regulatory instruments regarding their conformity with the European and international principles and approaches to the appropriate use of quantitative indices in assessment of scientists’ performance, research papers and research institutions, in view of the specificity of the pedagogical sciences. Qualitative and quantitative criteria for assessment of pedagogical research have been defined. The paper proposes that the following be considered as research products in the field of pedagogical sciences: national education standards, standard educational programmes, textbooks, coursebooks and various types of teaching manuals, methodological recommendations for teachers, readers, encyclopedias, dictionaries, research reference books, educational electronic resources, electronic resources for research management and support, drafts of legal and regulatory instruments, national and sectorial programmes, information and analytical materials and expert reports. The authors look at the experience and potential for using open scientometric system services, institutional repositories, systems of alternative metric for collecting and processing of statistical data on results of pedagogical research conducted by individual researchers, a team of researchers working on a research project, staff of a structural division and a research institution as a whole. The authors substantiate the expediency of creating and using the following tools for performance assessment of a research team working on a research project: a Google Academy research profile; scholars’ rating according to the number of citations within their research direction; an overall or temporal impact factor for research products other than scientific articles, based on the number of downloads from institutional repositories. The paper proposes an analytical model for the use of electronic copies of research products as information resource, based on analytical data resulting from the analysis of data on the users who visited networked storage and used a certain research product by the way of viewing or downloading it as an e-resource.

Author Biographies

Valeriy Yu. Bykov, Institute of Information Technologies and Learning Tools of NAES of Ukraine

Doctor of technical sciences, Professor, Academician of NAES of Ukraine, Director

Oleg M. Spirin, State Higher Educational Institution "University of Educational Management"

Doctor of Pedagogical Sciences, Professor, Vice-rector for Research and Digitalization

Andrii O. Biloshchytskyi, Taras Shevchenko National University of Kyiv

Doctor of Technical Sciences, Professor, Head of Department of Information System and Technologies

Alexander Yu. Kuchansky, Taras Shevchenko National University of Kyiv

PhD in Engineering, Associate professor, Associate professor at Department of Information System and Technologies

Oleksandr V. Dikhtiarenko, Taras Shevchenko National University of Kyiv

PhD in Engineering, Senior research officer

Oleksandr V. Novytskyi, Institute of Software Systems of National Academy of Sciences of Ukraine

Researcher

References

D. Hicks, P. Wouters, L. Waltman, S. de Rijcke, and I. Rafols, "Bibliometrics: The Leiden Manifesto for research metrics", Nature, vol. 520, pp. 429–431, 2015. [Електронний ресурс]. Доступно: http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351, doi: 10.1038/520429a.

D. Price, "A general theory of bibliometric and other cumulative advantage processes", Journal of the American Society for information science, vol. 27, no. 5–6, pp. 292–306, 1976.

T. Cawkell, and E. Garfield, "Chapter 15. Institute for Scientific Information", in A century of science publishing: a collection of essays, E. H. Fredriksson, Ed. Amsterdam, Netherlands: IOS Press, 2001, pp. 149–160.

J. E. Hirsch, "An index to quantify an individual's scientific research output" Proceedings of the National Academy of Sciences, vol. 46, no. 102, pp. 16569–16572, 2005, doi: 10.1073/pnas.0507655102.

Л. Костенко, О. Жабін, О. Кузнецов, Є. Кухарчук, та Т. Симоненко, "Наукометрія: методологія та інструментарій", Вісник Книжкової палати, № 9, c. 25–29, 2015.

В. М. Горовий, "Критерії якості наукових досліджень у контексті забезпечення національних інтересів", Вісник Національної академії наук України, № 6, c. 74–80, 2015.

І. Єгорченко, "Політика оцінки наукових публікацій", 2016. [Електронний ресурс]. Доступно: http://www.euroosvita.net/index.php/?category=1&id=4721.

С. Назаровець, та Т. Борисова, Відкритий доступ до наукових цитувань, Київ, Україна: ДНТБ України, 2019, doi: 10.5281/zenodo.2553994.

Д. В. Солов’яненко, "Український індекс наукового цитування: поточний стан та перспективи розвитку", 2014. [Електронний ресурс]. Доступно: http://repository.kpi.kharkov.ua/bitstream/KhPI-Press/9100/1/Solovianenko_Ukrainskyi.pdf.

Anup Kumar Das, "Research evaluation metrics", Paris, France : UNESCO, 2015. [Електронний ресурс]. Доступно: https://unesdoc.unesco.org/ark:/48223/pf0000232210?fbclid=IwAR0wXZayZPCIkH9JFVhCQl73KcDwXnd38GB16ITK-TBQXSnyuZs_jf4HI7Q.

L. Leydesdorff, P. Wouters, and L. Bornmann, "Professional and citizen bibliometrics: complementarities and ambivalences in the development and use of indicators – a state-of-the-art report", Scientometrics, vol. 109, no 3, pp. 2129–2150, 2016.

L. Waltman, and L. Noyons, "Bibliometrics for research management and research evaluation". Leiden, Netherlands: Centre for Science and Technology Studies, 2018. [Електронний ресурс]. Доступно: https://www.cwts.nl/pdf/CWTS_bibliometrics.pdf.

D. Hicks, P. Wouters, L. Waltman, S. De Rijcke, and I. Rafols, "The Leiden Manifesto for research metrics", Nature, vol. 520, pp. 429–431, 2015. [Електронний ресурс]. Доступно: https://www.nature.com/articles/520429a.

А. С. Павлова, "Анализ зарубежного опыта по информационному сопровождению научных исследований на основе библиометрических методов", Библиосфера, №4, c. 111–118, 2018.

J. Priem, P. Groth, and D. Taraborelli, "The Altmetrics Collection", Plos One, vol. 7, no. 11, 2012.

Т. В. Бусыгина, "Альтметрия как комплекс новых инструментов для оценки продуктов научной деятельности", Идеи и идеалы, т. 28, № 2, c. 79–87, 2016.

О. І. Жабін, "Альтернативні метрики наукової інфосфери. Бібліотека. Наука. Комунікація: актуальні тенденції у цифрову епоху", у Міжнар. наук. конф. (8–10 жовт. 2019 р.), 2019, т. 1, с. 437–440. [Електронний ресурс]. Доступно: http://www.irbis-nbuv.gov.ua/E_LIB/PDF/er-0003400.pdf#page=437.

Н. Мазов, та В. Гуреев, "Альтернативные подходы к оценке научных результатов", Вестник РАН, т. 85, № 2, с. 115–122, 2015.

А. М. Камінська, та С. А. Назаровець, "Crossref як джерело наукометричних даних для соціальних та гуманітарних наук", у Сучасний стан наукових досліджень та технологій в промисловості, 2018, № 3, с. 26–34, doi: 10.30837/2522-9818.2018.5.026.

А. Старостіна, В. Осецький, та В. Кравченко, "Оцінка результатів наукової діяльності в класичних університетах підприємницького типу в умовах євроінтеграції", Вісник Київського національного університету імені Тараса Шевченка. Економіка, т. 199, № 4, с. 35–45, 2018, doi: 10.17721/1728-2667.2018/199-4/5.

M. Amin, Social science research: conception, methodology and analysis. Kampala, Uganda: Makerere University, 2005.

H. F. Moed, M. Luwel, and A. J. Nederhof, "Towards indicators of research performance in the humanities", Library Trends, no 50, pp. 498–520, 2002.

L. Sile et al., "Comprehensiveness of national bibliographic databases for social sciences and humanities: Findings from a European survey", Research Evaluation, vol. 27, no 4, pp. 310–322, 2018, doi: 10.1093/reseval/rvy016.

В. І. Луговий, І. Ю. Регейло, Н. В. Базелюк, та О. В. Базелюк, "Глобальна цифровізація освітньо-наукового простору і виклики модернізації наукової періодики НАПН України", Інформаційні технології і засоби навчання, т. 73, № 5, с. 264–283, 2019.

С. У. Гончаренко, Педагогічні дослідження: Методологічні поради молодим науковцям. Київ-Вінниця, Україна: ДОВ "Вінниця", 2008.

С. У. Гончаренко, "Про критерії оцінювання педагогічних досліджень" [Електронний ресурс]. Доступно: http://ukped.com//781.html.

О. М. Спірін, А. В. Яцишин, С. М. Іванова, А. В. Кільченко, та Л. А. Лупаренко, "Модель інформаційно-аналітичної підтримки педагогічних досліджень на основі електронних систем відкритого доступу", Інформаційні технології і засоби навчання, т. 59, № 3, с. 134–154, 2017. [Електронний ресурс]. Доступно: http://journal.iitta.gov.ua/index.php/itlt/article/view/1694/1180.

С. О. Сисоєва, та Т. Є. Кристопчук, Методологія науково-педагогічних досліджень: підручник. Рівне, Україна: Волинські обереги, 2013.

О. М. Спірін, А. В. Яцишин, С. М. Іванова, А. В. Кільченко, та Л. А. Лупаренко, "Використання електронних систем відкритого доступу для інформаційно-аналітичної підтримки педагогічних досліджень", Інформаційні технології і засоби навчання, т. 55, № 5, с. 136–174, 2016. [Електронний ресурс]. Доступно: http://journal.iitta.gov.ua/index.php/itlt/article/view/1501/1094.

О. М. Спірін, та ін., "Використання електронних відкритих систем для інформаційно-аналітичної підтримки педагогічних досліджень: короткий термінологічний словник", Київ, Україна: ІІТЗН НАПН України, 2017. [Електронний ресурс]. Доступно: http://lib.iitta.gov.ua/707056.

Заключний звіт незалежного європейського аудиту національної системи досліджень та інновацій України. Інструмент політичної підтримки програми «Горизонт 2020». Брюссель, Бельгія: Європейська комісія, 2017. [Електронний ресурс]. Доступно: http://h2020.com.ua/wp-content/uploads/2017/03/KI-AX-16-008-UK-N-Transl.pdf.

Методика оцінювання ефективності наукової, науково-технічної та інноваційної діяльності наукової установи [Затверджено Наказом МОН України від 17.09.2018 року № 1008]. [Електронний ресурс]. Доступно: https://mon.gov.ua/ua/npa/nakaz-mon-vid-17-veresnya-2018-r-deyaki-pitannya-derzhavnoyi-atestaciyi-naukovih-ustanov-zareyestrovano-v-ministerstvi-yusticiyi-ukrayini-28-grudnya-2018-r-150432956.

Відкритий лист до Міністерства освіти і науки України [Електронний ресурс]. Доступно: https://www.petitions247.net/203462.

Leiden manifesto for research Metrics. [Електронний ресурс]. Доступно: https://www.nature.com/news/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf.

Президія НАН України (2017, Бер. 15.). Постанова № 75. "Методика оцінювання ефективності діяльності наукових установ Національної академії наук України". [Електронний ресурс]. Доступно: http://www.nas.gov.ua/legaltexts/DocPublic/P-180711-241-1.pdf.

Найкращі рішення приймаються на засадах здорового глузду і позитивного досвіду. Інтерв’ю з академіком НАН України А. Г. Загороднім, Вісник НАН України, № 3, с. 3–11, 2016. [Електронний ресурс]. Доступно: http://www.nas.gov.ua/text/pdfNews/metodyka_Zagorodnii_interview_VisnykNAN.pdf

Президія НАПН України (2012, Черв. 21). Додаток 1 до Постанови "Методичні рекомендації щодо моніторингу впровадження результатів науково-дослідних робіт Національною академією педагогічних наук України".

Budapest Open Access Initiative. [Електронний ресурс]. Доступно: https://www.budapestopenaccessinitiative.org/read.

Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities. [Електронний ресурс]. Доступно: https://openaccess.mpg.de/67605/berlin_declaration_engl.pdf.

A. Nobes, and S. Harris, Open Access in low- and middle-income countries: attitudes and experiences of researchers. [Електронний ресурс]. Доступно: https://emeraldopenresearch.com/articles/1-17/v1.

Plan S. [Електронний ресурс]. Доступно: https://www.coalition-s.org.

A. Martín-Martín, E. Orduna-Malea, M. Thelwall, and E. Delgado-López-Cózar, Google Scholar, Web of Science, and Scopus: Which is best for me? [Електронний ресурс]. Доступно: https://blogs.lse.ac.uk/impactofsocialsciences/2019/12/03/google-scholar-web-of-science-and-scopus-which-is-best-for-me/?fbclid=IwAR0u8cfjQXX_JwOmwOCvh9v4GI5Xz_uZU0SLxZ3-QPQTHp_WarOl3Pyq9PM.

M. Blankstein, and C. Wolff-Eisenberg, Ithaka S+R US Faculty Survey, 2018. [Електронний ресурс]. Доступно: https://sr.ithaka.org/publications/2018-us-faculty-survey.

В. Ю. Биков, О. М. Спірін, Л. А. Лупаренко, "Відкриті web-орієнтовані системи моніторингу впровадження результатів науково-педагогічних досліджень", Теорія і практика управління соціальними системами, № 1, с. 3–25, 2014.

Принцип роботи OUCI [Електронний ресурс]. Доступно: http://ouci.dntb.gov.ua/about/how-it-works.

Електронна бібліотека НАПН України [Електронний ресурс]. Доступно https://lib.iitta.gov.ua

Наукові дослідження [Електронний ресурс]. Доступно: http://iitlt.gov.ua/working/result_ndr.php.

О. М. Спірін, та О. Р. Олексюк, "Аналіз програмних платформ для створення інституційних репозитаріїв", Інформаційні технології і засоби навчання, т. 34, № 2, с. 101–115, 2013. [Електронний ресурс]. Доступно: http://journal.iitta.gov.ua/index.php/itlt/article/view/821/604

J. Priem, D. Taraborelli, P. Groth, and C. Neylon, Altmetrics: A manifest. 2010. [Електронний ресурс]. Доступно: http://altmetrics.org/manifesto.

Altmetric. Free tools. [Електронний ресурс]. Доступно: https://www.altmetric.com/products/free-tools.

Altmetric. Sources of Attention. [Електронний ресурс]. Доступно:https://www.altmetric.com/about-our-data/our-sources.

А. В. Кільченко, Представлення наукових видань у рейтингу Socioindex. [Електронний ресурс]. Доступно: https://lib.iitta.gov.ua/705746/1/Kilchenko_NAU.pdf.

Matomo. [Електронний ресурс]. Доступно:https://matomo.org.


REFERENCES (TRANSLATED AND TRANSLITERATED)

D. Hicks, P. Wouters, L. Waltman, S. de Rijcke, and I. Rafols, "Bibliometrics: The Leiden Manifesto for research metrics", Nature, vol. 520, pp. 429–431, 2015. [Online]. Available: http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351, doi: 10.1038/520429a.

D. Price, "A general theory of bibliometric and other cumulative advantage processes", Journal of the American Society for information science, vol. 27, no. 5–6, pp. 292–306, 1976.

T. Cawkell, and E. Garfield, "Chapter 15. Institute for Scientific Information", in A century of science publishing: a collection of essays, E. H. Fredriksson, Ed. Amsterdam, Netherlands: IOS Press, 2001, pp. 149–160.

Hirsch J. E., "An index to quantify an individual's scientific research output" Proceedings of the National Academy of Sciences, vol. 46, no. 102, pp. 16569–16572, 2005, doi: 10.1073/pnas.0507655102.

L. Kostenko, O. Zhabin, O. Kuznetsov, Ye. Kukharchuk, and T. Symonenko, "Scientometry: methodology and tools", Visnyk Knyzhkovoi palaty, № 9, pp. 25–29, 2015. (in Ukrainian)

V. M. Horovyi, "Criteria for the quality of research in the context of national interests", Bulletin of the National Academy of Sciences of Ukraine, № 6, pp. 74–80, 2015. (in Ukrainian)

I. Iehorchenko, "Policy for the Evaluation of Scientific Publications", 2016. [Online]. Available: http://www.euroosvita.net/index.php/?category=1&id=4721. (in Ukrainian)

S.cNazarovets, and T.cBorysova, Open access to scientific citations, Kyiv, Ukraine: DNTB Ukrainy, 2019. doi: 10.5281/zenodo.2553994. (in Ukrainian)

D. V. Solovianenko, "Ukrainian Index of Scientific Citation: Current State and Prospects for Development", 2014. [Online]. Available: http://repository.kpi.kharkov.ua/bitstream/KhPI-Press/9100/1/Solovianenko_Ukrainskyi.pdf. (in Ukrainian)

Anup Kumar Das, "Research evaluation metrics", Paris, France : UNESCO, 2015. [Online]. Available: https://unesdoc.unesco.org/ark:/48223/pf0000232210?fbclid=IwAR0wXZayZPCIkH9JFVhCQl73KcDwXnd38GB16ITK-TBQXSnyuZs_jf4HI7Q.

L. Leydesdorff, P. Wouters, and L. Bornmann, "Professional and citizen bibliometrics: complementarities and ambivalences in the development and use of indicators – a state-of-the-art report", Scientometrics, vol. 109, no 3, pp. 2129–2150, 2016.

L. Waltman, and L. Noyons, "Bibliometrics for research management and research evaluation". Leiden, Netherlands: Centre for Science and Technology Studies, 2018. [Online]. Available: https://www.cwts.nl/pdf/CWTS_bibliometrics.pdf.

D. Hicks, P. Wouters, L. Waltman, S. De Rijcke, and I. Rafols, "The Leiden Manifesto for research metrics", Nature, vol. 520, pp. 429–431, 2015. [Online]. Available: https://www.nature.com/articles/520429a.

A. S. Pavlova, "Analysis of foreign experience in the information support of scientific research based on bibliometric methods", Byblyosfera, №4, pp. 111–118, 2018. (in Russian)

J. Priem, P. Groth, and D. Taraborelli, "The Altmetrics Collection", Plos One, vol. 7, no. 11, 2012.

T. V. Busyhina, "Altmetric as a set of new tools for evaluating the products of scientific activity", Idei i idealy, т. 28, № 2, pp. 79–87, 2016. (in Russian)

O. I. Zhabin, "Alternative metrics of the scientific infosphere. Library. Science. Communication: Current Trends in the Digital Age", in The International Science Conference. (8–10 Oct. 2019), 2019, vol. 1, pp. 437–440. [Online]. Available: http://www.irbis-nbuv.gov.ua/E_LIB/PDF/er-0003400.pdf#page=437. (in Ukrainian)

N. Mazov, and V. Hureev, "Alternative Approaches to Evaluating Scientific Results", Vestnyk RAN, vol. 85, No 2, pp. 115–122, 2015. (in Russian)

A. M. Kaminska, and S. A. Nazarovets, "Crossref as a source of scientometric data for the social sciences and humanities", in Suchasnyi stan naukovykh doslidzhen ta tekhnolohii v promyslovosti, 2018, № 3, pp. 26–34; doi: 10.30837/2522-9818.2018.5.026. (in Ukrainian)

A. Starostina, V. Osetskyi, and V. Kravchenko, "Estimating productivity of scholars from classical universities of entrepreneurial form in the context of eurointegration", Bulletin of Taras Shevchenko National University of Kyiv. Economics, vol. 199, No 4, pp. 35–45, 2018, doi: 10.17721/1728-2667.2018/199-4/5. (in Ukrainian)

M. Amin, Social science research: conception, methodology and analysis. Kampala, Uganda: Makerere University, 2005.

H. F. Moed, M. Luwel, and A. J. Nederhof, "Towards indicators of research performance in the humanities", Library Trends, no 50, pp. 498–520, 2002.

L. Sile et al., "Comprehensiveness of national bibliographic databases for social sciences and humanities: Findings from a European survey", Research Evaluation, vol. 27, no 4, pp. 310–322, 2018. doi: 10.1093/reseval/rvy016.

V. I. Luhovyi, I. Yu. Reheilo, N. V. Bazeliuk, and O. V. Bazeliuk, "Global Digitization of The Education and Research Area and Challenges in Modernizing the Scientific Periodicals of NAES of Ukraine", Information Technologies and Learning Tools, vol. 73, No 5, pp. 264–283, 2019. (in Ukrainian)

S. U. Honcharenko, Pedagogical research: Methodological advice to young scientists. Kyiv-Vinnytsia, Ukraina: DOV "Vinnytsia", 2008. (in Ukrainian)

S. U. Honcharenko, "On the criteria for evaluation of pedagogical research". [Online]. Available: http://ukped.com//781.html. (in Ukrainian)

O. M. Spirin, A. V. Yatsyshyn, S. M. Ivanova, A. V. Kilchenko, and L. A. Luparenko, "The Model of Information and Analytical Support of Educational Research Based on Electronic Systems of Open Access", Information Technologies and Learning Tools, vol. 59, no 3, pp. 134–154, 2017. [Online]. Available: http://journal.iitta.gov.ua/index.php/itlt/article/view/1694/1180. (in Ukrainian)

S. O. Sysoieva, and T. Ye. Krystopchuk, The methodology of scientific research and teaching: tutorial. Rivne, Ukraine: Volynski oberehy, 2013. (in Ukrainian)

O. M. Spirin, A. V. Yatsyshyn, S. M. Ivanova, A. V. Kilchenko, and L. A. Luparenko, "The Using of the Electronic Systems of Open Access for Information and Analytical Support Pedagogical Research", Information Technologies and Learning Tools, vol. 55, no 5, pp. 136–174, 2016. [Online]. Available: http://journal.iitta.gov.ua/index.php/itlt/article/view/1501/1094. (in Ukrainian)

O. M. Spirin, et al., "The Using of the Electronic Systems of Open Access for Information and Analytical Support Pedagogical Research: a short glossary", Kyiv, Ukraine: IITLT of the NAES of Ukraine, 2017. [Online]. Available: http://lib.iitta.gov.ua/707056. (in Ukrainian)

Peer Review of the Ukrainian Research and Innovation System Horizon 2020 Policy Support Facility. Brussels, Belgium: European Commission, 2017. [Online]. Available: http://h2020.com.ua/wp-content/uploads/2017/03/KI-AX-16-008-UK-N-Transl.pdf. (in Ukrainian)

Methods for assessing the effectiveness of scientific, scientific, technical and innovative activity of a scientific institution [Approved by the Order of the MES of Ukraine 17.09.2018 No1008]. [Online]. Available: https://mon.gov.ua/ua/npa/nakaz-mon-vid-17-veresnya-2018-r-deyaki-pitannya-derzhavnoyi-atestaciyi-naukovih-ustanov-zareyestrovano-v-ministerstvi-yusticiyi-ukrayini-28-grudnya-2018-r-150432956. (in Ukrainian)

An open letter to the Ministry of Education and Science of Ukraine. [Online]. Available: https://www.petitions247.net/203462. (in Ukrainian)

Leiden manifesto for research Metrics. [Online]. Available: https://www.nature.com/news/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf.

NAS of Ukraine Presidium (2017, Mar. 15.). Decree No. 75. "Methods of assessing the effectiveness of scientific institutions of the National Academy of Sciences of Ukraine". [Online]. Available: http://www.nas.gov.ua/legaltexts/DocPublic/P-180711-241-1.pdf. (in Ukrainian)

The best decisions are made on the basis of common sense and positive experience. Interview with Academician of NAS of Ukraine A. G. Zagorodnym, Bulletin of the National Academy of Sciences of Ukraine, No 3, pp. 3–11, 2016. [Online]. Available: http://www.nas.gov.ua/text/pdfNews/metodyka_Zagorodnii_interview_VisnykNAN.pdf (in Ukrainian)

NAES of Ukraine Presidium (2012, Jun 21). Annex 1 to the Decree "Methodological Recommendations for Monitoring the Implementation of Research Results by the National Academy of Pedagogical Sciences of Ukraine". (in Ukrainian)

Budapest Open Access Initiative. [Online]. Available: https://www.budapestopenaccessinitiative.org/read.

Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities [Online]. Available: https://openaccess.mpg.de/67605/berlin_declaration_engl.pdf.

A. Nobes, and S. Harris, Open Access in low- and middle-income countries: attitudes and experiences of researchers. [Online]. Available: https://emeraldopenresearch.com/articles/1-17/v1.

Plan S.[Online]. Available: https://www.coalition-s.org.

A. Martín-Martín, E. Orduna-Malea, M. Thelwall, and E. Delgado-López-Cózar, Google Scholar, Web of Science, and Scopus: Which is best for me? [Online]. Available: https://blogs.lse.ac.uk/impactofsocialsciences/2019/12/03/google-scholar-web-of-science-and-scopus-which-is-best-for-me/?fbclid=IwAR0u8cfjQXX_JwOmwOCvh9v4GI5Xz_uZU0SLxZ3-QPQTHp_WarOl3Pyq9PM.

M. Blankstein, and C. Wolff-Eisenberg, Ithaka S+R US Faculty Survey, 2018. [Online]. Available: https://sr.ithaka.org/publications/2018-us-faculty-survey.

V. Yu. Bykov, O. M. Spirin, and L. A. Luparenko, "Open Web-Based Systems of Scientific and Educational Research Implementation Monitoring", Teoriia i praktyka upravlinnia sotsialnymy systemamy, No 1, pp. 3–25, 2014. (in Ukrainian)

How OUCI works. [Online]. Available: http://ouci.dntb.gov.ua/about/how-it-works. (in Ukrainian)

Electronic Library of the NAES of Ukraine. [Online]. Available: https://lib.iitta.gov.ua

Scientific research. [Online]. Available: http://iitlt.gov.ua/working/result_ndr.php. (in Ukrainian)

O. M. Spirin, and O. R. Oleksyuk, "Analysis of Software Platforms for Creating of Institutional Repositories", Information Technologies and Learning Tools, vol. 34, no 2, pp. 101–115, 2013. [Online]. Available: http://journal.iitta.gov.ua/index.php/itlt/article/view/821/604 (in Ukrainian)

J. Priem, D. Taraborelli, P. Groth, and C. Neylon, Altmetrics: A manifest. 2010. [Online]. Available: http://altmetrics.org/manifesto.

Altmetric. Free tools. [Online]. Available: https://www.altmetric.com/products/free-tools.

Altmetric. Sources of Attention. [Online]. Available: https://www.altmetric.com/about-our-data/our-sources.

A. V. Kilchenko, Presentation of scientific publications in the ranking Socioindex. [Online]. Available: https://lib.iitta.gov.ua/705746/1/Kilchenko_NAU.pdf. (in Ukrainian)

Matomo. [Online]. Available: https://matomo.org.

Published
2020-02-24
Section
ICT to support psychological and educational research