MONITORING OF THE TEACHER'S RATING INDICATORS FOR MAKING MANAGEMENT DECISIONS USING ICT

Authors

DOI:

https://doi.org/10.33407/itlt.v87i1.4051

Keywords:

quality of higher education, internal quality assurance system, rating assessment of teachers, e-portfolio system, monitoring rating indicators, visualization of reports, Power BI business intelligence tool

Abstract

One of the crucial roles in ensuring the quality of higher education is the teacher role. In accordance with European standards, the Law of Ukraine “On Higher Education”, the recommendations of the National Agency for Quality Assurance in Higher Education, the system of internal quality assurance provides for the existence of developed and published criteria, rules and procedures for the evaluation of scientific and pedagogical, research workers, as well as their annual evaluation. To form high-quality scientific and pedagogical workers at the Borys Grinchenko Kyiv University, a system of teacher ratings has been developed – “E-portfolio”, which is one of the components of the information and educational environment. In order to analyze the activities of teachers, departments and the university as a whole in the system “E-portfolio” the main types of statistical reports were implemented: by rating points; by structural units; by rating indicators of the main types of activity; for each of the weights, etc. The first few years the usage of the built-in statistics was enough to analyze the activities of the teacher, the unit. However, there was a need to monitor the dynamics of indicators, so we began to look for modern tools of business intelligence to develop visualization of ratings. We have identified the Power BI tool, which allows you to have a complete picture of the results of activities and which is focused on data analysis. It was optimal to create a report using a data model in the form of a “Star Scheme”. The organization of data in the selected model is based on their logical division into two types, for storage of which dimension tables and fact tables are used. With the help of the created “Measure” and standard functions of the summary tables visualizations of input data of a rating were realized, details and filters for more convenient viewing and the analysis of the data were created. After completing all visualization and filter settings, the report was published using the Power BI report server. The use of the Power BI tool allowed top managers of the university to have a holistic picture of the results of employees and departments, to determine the priorities of activities, to make fair decisions when renewing contracts, which certainly contributes to the quality of higher education.

Downloads

Download data is not yet available.

Author Biographies

Oksana P. Buinytska, Borys Grinchenko Kyiv University

Doctor of Pedagogical Sciences, Associate Professor, Head of IT in Education Laboratory

Anastasiia V. Tiutiunnyk, Borys Grinchenko Kyiv University

Methodist of IT in Education Laboratory

References

Верховна Рада України. 2 сесія. (2014, Лип. 1). Закон №1556-VII, Про вищу освіту. [Електронний ресурс]. Доступно: https://zakon.rada.gov.ua/laws/show/1556-18. Дата звернення: Черв. 21, 2020.

Рекомендації Національного агентства із забезпечення якості вищої освіти стосовно запровадження внутрішньої системи забезпечення якості, Національне агенство забезпечення якості. [Електронний ресурс]. Доступно: https://naqa.gov.ua/2019/07/рекомендації-національного-агентств/ Дата звернення: Трав. 30, 2020.

K. Latif, I. Latif, U. Sahibzada, and M. Ullah, "In search of quality: measuring Higher Education Service Quality (HiEduQual)", Total Quality Management & Business Excellence, vol. 30, no. 7-8, pp. 768-791, 2019. doi: https://www.tandfonline.com/doi/full/10.1080/14783363.2017.1338133. Дата звернення: Черв. 21, 2020..

R. Heintze, "Workshop 1. Internal & External Quality assurance for QA agencies", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Електронний ресурс]. Доступно: https://www.inqaahe.org/sites/default/files/IC2017_WS1_RH.pdf Дата звернення: Черв. 21, 2020.

S. Javed, "Aligning the quality assurance of higher education with the education for sustainability requirements – a solution to future world challenges", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Електронний ресурс]. Доступно: https://www.inqaahe.org/sites/default/files/IC2017_S4P4_0.pdf Дата звернення: Черв. 21, 2020..

M. Kraft, and A. Gilmour, "Revisiting The Widget Effect: Teacher Evaluation Reforms and the Distribution of Teacher Effectiveness", Educational Researcher, vol. 46, no. 5, pp. 234–24, 2017. [Електронний ресурс]. Доступно: https://journals.sagepub.com/doi/10.3102/0013189X17718797 Дата звернення: Черв. 21, 2020.

N. Pauflera, and E. Sloat, "Using standards to evaluate accountability policy in context: School administrator and teacher perceptions of a teacher evaluation system", Studies in Educational Evaluation, vol. 64, 2020. [Електронний ресурс]. Доступно: https://www.sciencedirect.com/science/article/pii/S0191491X18303006#bib0160 Дата звернення: Черв. 21, 2020.

Annual Reports. The International Network for Quality Assurance Agencies in Higher Education. [Електронний ресурс]. Доступно: https://www.inqaahe.org/annual-reports Дата звернення: Трав. 30, 2020.

В. Огнев’юк, "Освіта та конкурентоспроможність суспільства", OŚWIATOLOGIA, №5, с. 37-44, 2016. [Електронний ресурс]. Доступно: http://osvitologia.kubg.edu.ua/en/numbers/27-archive-2016/51-5-2016.html?showall=&start=6. Дата звернення: Черв. 20, 2020.

В. Огнев’юк, "Проблеми та перспективи оцінювання якості української освіти", Моніторинг якості освіти: теорія та практика: матеріали Всеукраїнської наукової практичної конференції, 2009, c. 6-8 [Електронний ресурс]. Доступно: http://elibrary.kubg.edu.ua/id/eprint/1994/ Дата звернення: Черв. 20, 2020.

В. Биков, О. Спірін, та О. Пінчук, "Сучасні завдання цифрової трансформації освіти", Вісник Кафедри ЮНЕСКО «Неперервна професійна освіта ХХІ століття», №1, с. 27-36, 2020. [Електронний ресурс]. Доступно: https://www.unesco-journal.com.ua/index.php/journal/article/view/7 Дата звернення: Черв. 16, 2020.

В. Биков, О. Спірін, А. Білощицький, О. Кучанський, О. Діхтяренко, та О. Новицький, "Відкриті цифрові системи в оцінюванні результатів науково-педагогічних досліджень", Інформаційні технології і засоби навчання, т.75, №1, с. 294-315, 2020. [Електронний ресурс]. Доступно: https://journal.iitta.gov.ua/index.php/itlt/article/view/3589 Дата звернення: Черв. 20, 2020.

Д. Карамишев, "Теоретико-методичні засади забезпечення якості освіти", Харків, Україна: Видавництво ХарРІ НАДУ «Магістр», 2020 [Електронний ресурс]. Доступно: http://www.kbuapa.kharkov.ua/e-book/book/karamyshev_monografyia_1.pdf Дата звернення: Черв. 20, 2020.

Н. Морзе, та О. Буйницька, "Система рейтингових показників оцінювання діяльності викладачів сучасних університетів", Науковий часопис НПУ імені М. П. Драгоманова: Комп'ютерно-орієнтовані системи навчання, Серія 2, № 19, с.34-44, 2017.

N. Morze, and L.Varchenko-Trotsenko, "Educator’s e-Portfolio in the Modern University", ICTERI, Kyiv, 2016, p. 231-240 [Електронний ресурс]. Доступно: http://ceur-ws.org/Vol-1614/paper_68.pdf Дата звернення: Черв. 21, 2020.

Н. Морзе, О. Буйницька, та А. Кочарян, "ІК-компетентність викладачів і студентів як шлях до формування інформаційного освітнього середовища університету", у Компетентністно зорієнтована освіта: якісні виміри, В. Огнев'юк, Л. Хоружа, С. Сисоєва, Н. Чернуха, Н. Терентьєва, ред. Київ, Україна: Київський університет імені Бориса Грінченка, 2015, с. 151-196. [Електронний ресурс]. Доступно: http://elibrary.kubg.edu.ua/id/eprint/10019/ Дата звернення: Черв. 15, 2020.

N. Morze, and O. Buinytska, "Digital Competencies of University Teachers", Universities in the Networked Society. Cultural Diversity and Digital Competences in Learning Communities, vol. 10, pp. 19-37, 2019 [Електронний ресурс]. Доступно: https://link.springer.com/chapter/10.1007/978-3-030-05026-9_2 . Дата звернення: Черв. 20, 2020.

Н. Морзе, та О. Буйницька, "Підвищення рівня інформаційно-комунікаційної компетенції науково-педагогічних працівників - ключова вимога якості освітнього процесу", Інформаційні технології та засоби навчання, т.59, №3, с. 189-200, 2017. [Електронний ресурс]. Доступно: https://journal.iitta.gov.ua/index.php/itlt/article/view/1667 Дата звернення: Тра. 17, 2020.

О. Раєвнєва, та С. Степуріна, "Побудова альтернативної системи рейтингування наукової активності вищих навчальних закладів України: методичні засади та результати апробації", ScienceRise: Pedagogical Education, т.16, №8, с. 48-57, 2017. [Електронний ресурс]. Доступно: http://journals.uran.ua/sr_edu/article/view/109316 Дата звернення: Черв. 15, 2020.

Т. Бойчук, І. Геруш, В. Ходоровський, та Є. Ткач, "Рейтингування діяльності науково-педагогічних працівників та кафедр – вагома складова системи внутрішнього забезпечення якості освіти у вищому державному навчальному закладі України «Буковинський державний медичний університет»", Медична освіта, №3, с. 48-54, 2017. [Електронний ресурс]. Доступно: https://ojs.tdmu.edu.ua/index.php/med_osvita/article/view/7756 Дата звернення: Черв. 20, 2020.

І. Грищенко, "Оцінювання ефективності діяльності науково-педагогічних працівників вищого навчального закладу", Вісник КНУТД спецвипуск. Серія «Економічні науки», с. 154-168, 2017. [Електронний ресурс]. Доступно: https://er.knutd.edu.ua/bitstream/123456789/7652/1/20171006_Effect_P154-168.pdf Дата звернення: Черв. 15, 2020.

Положення про щорічне рейтингове оцінювання професійної діяльності науково-педагогічних і наукових працівників Київського університету імені Бориса Грінченка «Лідер року» [Електронний ресурс]. Доступно: https://kubg.edu.ua/images/stories/Departaments/vdd/documenty/rozdil_7/nakaz_199_19.03.2020_.pdf Дата звернення: Черв. 12, 2020.

Е-портфоліо [Електронний ресурс]. Доступно: http://eportfolio.kubg.edu.ua/ Дата звернення: Черв. 20, 2020.

What is Power BI? [Електронний ресурс]. Доступно: https://powerbi.microsoft.com/en-us/what-is-power-bi/ Accessed on: Jun 12, 2020

Рейтинг структурних підрозділів та викладачів Київського університету імені Бориса Грінченка 2017-2021. [Електронний ресурс]. Доступно: http://eportfolio.kubg.edu.ua/rating/visualization Дата звернення: Черв. 20, 2020.


REFERENCES (TRANSLATED AND TRANSLITERATED)

Verkhovna Rada of Ukraine. Session 2. (2014, July. 1). Law №1556-VII, On Higher Education. [Online]. Available: https://zakon.rada.gov.ua/laws/show/1556-18 Accessed on: Jun 21, 2020. (in Ukrainian)

Recommendations of National Agency for Higher Education Quality Assurance regarding the introduction of an internal quality assurance system, National Agency for Higher Education Quality Assurance. [Online]. Available: https://naqa.gov.ua/2019/07/рекомендації-національного-агентств/ Accessed on: May 30, 2020. (in Ukrainian)

K. Latif, I. Latif, U. Sahibzada, and M. Ullah, "In search of quality: measuring Higher Education Service Quality (HiEduQual)", Total Quality Management & Business Excellence, vol. 30, no. 7-8, pp. 768-791, 2019.doi: https://www.tandfonline.com/doi/full/10.1080/14783363.2017.1338133. Accessed on: Jun 21, 2020. (in English)

R. Heintze, "Workshop 1. Internal & External Quality assurance for QA agencies", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Online]. Available: https://www.inqaahe.org/sites/default/files/IC2017_WS1_RH.pdf Accessed on: Jun 21, 2020. (in English)

S. Javed, "Aligning the quality assurance of higher education with the education for sustainability requirements – a solution to future world challenges", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Online]. Available: https://www.inqaahe.org/sites/default/files/IC2017_S4P4_0.pdf Accessed on: Jun 21, 2020. (in English)

M. Kraft, and A. Gilmour, "Revisiting The Widget Effect: Teacher Evaluation Reforms and the Distribution of Teacher Effectiveness", Educational Researcher, vol. 46, no. 5, pp. 234–24, 2017. [Online]. Available: https://journals.sagepub.com/doi/10.3102/0013189X17718797 Accessed on: Jun 21, 2020 (in English)

N. Pauflera, and E. Sloat, "Using standards to evaluate accountability policy in context: School administrator and teacher perceptions of a teacher evaluation system", Studies in Educational Evaluation, vol. 64, 2020. [Online]. Available: https://www.sciencedirect.com/science/article/pii/S0191491X18303006#bib0160 Accessed on: Jun 21, 2020 (in English)

Annual Reports. The International Network for Quality Assurance Agencies in Higher Education [Online]. Available: https://www.inqaahe.org/annual-reports Accessed on: May 30, 2020. (in English)

V. Ogneviuk, "Education and competitiveness of society", OŚWIATOLOGIA, Vol. 5, pp. 37-44, 2016. [Online]. Available: http://osvitologia.kubg.edu.ua/en/numbers/27-archive-2016/51-5-2016.html?showall=&start=6 Accessed on: Jun 20, 2020. (in Ukrainian)

V. Ogneviuk, "Problems and prospects of assessing the quality of Ukrainian education", Monitoring the quality of education: theory and practice: materials of the All-Ukrainian scientific-practical conference, 2009, pp. 6-8 [Online]. Available: http://elibrary.kubg.edu.ua/id/eprint/1994/ Accessed on: Jun 20, 2020. (in Ukrainian)

V. Bykov, O. Spirin, and O. Pinchuk, "Modern tasks of digital transformation of education", UNESCO Chair Journal "Lifelong Professional Education in the XXI Century", no.1, pp. 27-36, 2020. [Online]. Available: https://www.unesco-journal.com.ua/index.php/journal/article/view/7 Accessed on: Jun 16, 2020. (in Ukrainian)

V. Bykov, O. Spirin, A. Biloshchytskyi, A. Kuchansky, O. Dikhtiarenko, and O. Novytskyi, "Open digital systems for assessment of pedagogical research results", Information Technologies and Learning Tools, vol. 75, no.1, pp. 294-315, 2020. [Online]. Available: https://journal.iitta.gov.ua/index.php/itlt/article/view/3589 Accessed on: Jun 20, 2020. (in Ukrainian)

D. Karamyshev, "Theoretical and methodological principles of ensuring the quality of education", Kharkiv, Ukraine: Publishing house KharRI NADU «Mahistr», 2020 [Online]. Available: http://www.kbuapa.kharkov.ua/e-book/book/karamyshev_monografyia_1.pdf Accessed on: Jun 20, 2020. (in Ukrainian)

N. Morze, and O. Buinytska, "Rating indicators system of evaluation teacher's activities in modern universities", Scientific journal of National Pedagogical Dragomanov University: Kompiuterno-oriientovani systemy navchannia, Series 2, no. 19, pp. 34-44, 2017. (in Ukrainian)

N. Morze, and L.Varchenko-Trotsenko, "Educator’s e-Portfolio in the Modern University", ICTERI, Kyiv, 2016, pp. 231-240 [Online]. Available: http://ceur-ws.org/Vol-1614/paper_68.pdf Accessed on: Jun 21, 2020 (in English)

N. Morze, O. Buinytska, and A. Kocharian, "IC-competence of teachers and students as a way to form an information educational environment of the university", in Competence-oriented education: qualitative measurements, V. Ogneviuk, L. Khoruzha, S. Sysoieva, N. Chernukha, N. Terentieva, Eds. Kyiv, Ukraine: Borys Grinchenko Kyiv University, 2015, pp. 151-196. [Online]. Available: http://elibrary.kubg.edu.ua/id/eprint/10019/ Accessed on: Jun 15, 2020. (in Ukrainian)

N. Morze, and O. Buinytska, "Digital Competencies of University Teachers", Universities in the Networked Society. Cultural Diversity and Digital Competences in Learning Communities, vol. 10, pp. 19-37, 2019 [Online]. Available: https://link.springer.com/chapter/10.1007/978-3-030-05026-9_2 Accessed on: Jun 21, 2020 (in English)

N. Morze, and O. Buinytska, "Raising information and communication technologies competence of scientific and pedagogical employees – a key requirement of the quality of educational process", Information Technologies and Learning Tools, vol. 59, no.3, pp. 189-200, 2017. [Online]. Available: https://journal.iitta.gov.ua/index.php/itlt/article/view/1667 Accessed on: May 17, 2020. (in Ukrainian)

O. Rayevnyeva, and S. Stepurina, "Alternative rating system of scientific activity of ukrainian higher educational institutions: methodical bases and results", ScienceRise: Pedagogical Education, vol. 16, no.8, pp. 48-57, 2017. [Online]. Available: http://journals.uran.ua/sr_edu/article/view/109316 Accessed on: Jun 15, 2020. (in Ukrainian)

T. Boichuk, I. Herush, V. Khodorovskyi, and Ye. Tkach, "Ranking of scientific-pedagogical staff and departments activity - a significant component of internal quality assurance of education in the higher state educational establishment of ukraine “Bukovinian state medical university”", Medical Education, no.3, pp. 48-54, 2017. [Online]. Available: https://ojs.tdmu.edu.ua/index.php/med_osvita/article/view/7756 Accessed on: Jun 20, 2020. (in Ukrainian)

I. Gryshchenko, "Efficiency evaluation of academic staffactivity at higher educational institutions", Visnyk KNUTD spetsvypusk. Seriia “Ekonomichni nauky”, pp. 154-168, 2017. [Online]. Available: https://er.knutd.edu.ua/bitstream/123456789/7652/1/20171006_Effect_P154-168.pdf Accessed on: Jun 15, 2020. (in Ukrainian)

Regulations on the annual rating assessment of the professional activity of scientific-pedagogical and scientific employees of Borys Grinchenko Kyiv University "Leader of the year". [Online]. Available: https://kubg.edu.ua/images/stories/Departaments/vdd/documenty/rozdil_7/nakaz_199_19.03.2020_.pdf Accessed on: Jun 12, 2020. (in Ukrainian)

E-portfolio. [Online]. Available: http://eportfolio.kubg.edu.ua/ Accessed on: Jun 20, 2020. (in Ukrainian)

What is Power BI? [Online]. Available: https://powerbi.microsoft.com/en-us/what-is-power-bi/ Accessed on: Jun 12, 2020 (in English)

Rating of university departments and teachers of Borys Grinchenko Kyiv University 2017-2021. [Online]. Available: http://eportfolio.kubg.edu.ua/rating/visualization Accessed on: Jun 20, 2020. (in Ukrainian)

Published

2022-03-01

How to Cite

Buinytska О. П., & Tiutiunnyk А. В. (2022). MONITORING OF THE TEACHER’S RATING INDICATORS FOR MAKING MANAGEMENT DECISIONS USING ICT. Information Technologies and Learning Tools, 87(1), 336–356. https://doi.org/10.33407/itlt.v87i1.4051

Issue

Section

ICT in the management of education