Везде
Rankings in Universities: Sociological Reflection and Experience of MGIMO
Table of contents
Annotation Estimate Publication content
References Comments
Share
QR
Metrics
Rankings in Universities: Sociological Reflection and Experience of MGIMO
Annotation
PII
S013216250007104-7-1
Publication type
Article
Status
Published
Authors
Antonina V. Noskova 
Occupation: Prof. of the Department of Sociology
Affiliation: MGIMO University
Address: Russian Federation, Moscow
Alexandra S. Proskurina
Occupation: Lecturer of the Department of Sociology
Affiliation: MGIMO-University
Address: Russian Federation, Moscow
Edition
Issue 10
Pages
69-75
Abstract

The paper reviews the neoliberal turn in education and its influence on MGIMO educational realities. Rankings as a part of this turn have a noticeable impact on the relationship between the university and society, as well as on the way MGIMO policies teaching staff. Ranking influence is explored through a case study of results of MGIMO language teaching quality poll conducted among students of two major faculties – faculty of international relations and faculty of journalism. The questionnaire used is an innovative tool in development, and the goal of this tool is to provide a fair and complete ranking in accordance with sociological prospective on education. Poll data include 833 participants from both faculties and is studied through statistical procedures. Authors conclude that faculty plays a noticeable role in defining motivation for scores given, therefore only a ranking that takes students’ educational background in consideration is to be considered fair. This study opens a discussion on the role of qualitative factors in quantitative methods.

Keywords
higher education reform, higher education management system, internal teaching staff ratings, student surveys
Received
12.10.2019
Date of publication
13.10.2019
Number of purchasers
89
Views
603
Readers community rating
0.0 (0 votes)
Cite   Download pdf
1 Современное высшее образование реформируется на глобальном уровне – неолиберальные принципы управления и идеологии сегодня оказывают сильное воздействие на университеты многих стран мира [Conell, 2013: 99]. Как следствие «под влиянием увеличивающейся открытости границ страны перестают быть охранительными рубежами в отношении иных культурных ценностей и иных образов жизни» [Кравченко, 2013: 9]. Мировая реформа образования – управляемый процесс, инициируемый Всемирным Банком (World Bank) и Организацией экономического сотрудничества и развития (OECD) [Ball, 2003: 215]. Глобальный поворот в высшем образовании осуществляется на основе взаимосвязанных технологий, ключевыми элементами которых называются рынок, менеджерализм и перформативность [Ball, 2003: 215]. Внедрение менеджерской, про-рыночной культуры управления высшим образованием [Ordorika, Lloyd, 2015: 385] рассматривается как политически привлекательная альтернатива принципу государственного регулирования и пониманию образования как общественного блага [Ball, 2003: 216].
2 На новые технологии управления высшим образованием работает, в частности, система меж- и внутриуниверситетских рейтингов. Рейтинги – важнейший элемент перформативности, что в интерпретации С. Болла означает технологию, культуру и способ регулирования с использованием суждений, сравнений и репрезентаций как средств стимула, контроля, ограничений и изменения на основе вознаграждений и санкций [Ball, 2003: 216]. Методологическую основу рейтингования образуют методы оценивания, количественного сравнения и ранжирования элементов совокупности в соответствии с заданным признаком или набором признаков.
3 В данной статье будет анализироваться методология внутренних рейтингов качества педагогической деятельности, основанных на опросах студентов. Наша цель – показать неоднозначность этого инструмента управления образовательным процессом в вузе.
4

Внутриуниверситетские рейтинги преподавателей как способ управленческого воздействия и контроля.

5 Являясь механизмом управления внутриуниверситетской средой, рейтинги преподавателей по-новому структурируют формальные взаимодействия между преподавателями и менеджментом университета. С их помощью осуществляется управленческий контроль за деятельностью профессорско-преподавательского состава вуза. В зависимости от степени соответствия/несоответствия рейтинговым критериям устанавливаются поощрения/санкции, происходит распределение социальных благ между преподавателями. Одновременно рейтинги изменяют неформальную структуру социальных отношений: «...сокращаются зоны взаимного доверия» [Кем, 2016: 75], подрываются отношения солидарности и в среде преподавателей насаждаются конкуренция, соперничество [Осипов, 2017].
6 Тем не менее в рейтингах преподавателей, составляемых на основе опросов студентов, заложен потенциал для развития вуза; они призваны стимулировать повышение качества учебного процесса в ситуации, когда преподаватели «не хотят ничего менять, их никто не может заставить и проконтролировать» [Дежина, Ключарев, 2018: 43]. Речь идет о противодействии «пассивности и формализму вузов» в контексте новых социальных запросов и развития форм обучения [там же: 43].
7 В логике неолиберального подхода «студент рассматривается уже не как подчиненный и стоящий ниже рангом участник образовательного процесса, а как получатель образовательных услуг» [Нефедова, 2016: 91]. В связи с этим широкое распространение получили эмпирические исследования студенческой удовлетворенности процессом обучения, ставшие «топовой» проблематикой в сфере изучения образования [Yang, 2016: 221].
8 Рейтинги преподавателей, составляемые на основе опросов студентов, иллюстрируют переход от субъектно-объектной модели обучения к субъектно-субъектной модели. Студенты перестают быть пассивным объектом педагогического воздействия, становясь тоже «субъектом», активным деятелем, получая доступ к регулированию образовательного процесса. Опросный метод в формировании рейтинга может отразить запросы студентов на обновление учебных материалов, на привязку преподавания к осваиваемой профессии и т.д.
9

Составление в МГИМО рейтингов преподавателей английского языка: методические аспекты.

10 В 2016 г. в МГИМО МИД России был запущен пилотный проект мониторинга качества преподавания английского языка на основе ежегодных опросов студентов. Профессиональное формирование лингвистической компетенции справедливо считается одним из приоритетов обучения и конкурентных преимуществ МГИМО. Преподаватели английского языка – это особая и самая многочисленная «каста» профессорско-преподавательского состава университета, поскольку «английский язык стал lingua franca глобального академического дискурса» [Торкунов, 2018: 13].
11 Анкетирование студентов по разным вопросам преподавания иностранного языка направлено на осуществление связи между студентами и преподавателями языковых кафедр и последующую корректировку учебного процесса. Составление рейтингов преподавателей английского языка на основе оценок студентов часть проекта, реализуемого Управлением языковой подготовки и Болонского процесса совместно с кафедрой социологии МГИМО МИД России на основе опросов студентов 2–4 курсов бакалавриата различных факультетов.
12 В ноябре 2018 г. опрашивались две группы студентов, каждая из которых оценивала свою группу преподавателей английского языка. В опросе приняли участие все изучающие английский язык студенты 2–4 курсов факультетов «Международная журналистика» (МЖ), N=352, и «Международные отношения» (МО), N=481: эти факультеты имеют свои кафедры английского языка и отличаются самыми высокими требованиями к его изучению.
13 Каждый студент, выставляя оценки по пятибалльной шкале (от 1 до 5), оценивал занятия со своим преподавателем по 17-ти параметрам (переменным), то есть ставил 17 оценок bki (здесь k – номер преподавателя, i – номер параметра). Из них 16 параметров разбиты на 4 группы показателей по теоретически-заложенным критериям, отражающим разные аспекты процесса преподавания английского языка. Последний (17-й) параметр – это интегральный показатель по всем четырем группам (табл. 1). Как показал анализ данных, интегральный показатель статистически выполняет свою функцию: для обоих факультетов его значения близки к среднему по каждому из четырёх критериев.
14

15 Для удобства сравнения рейтингов для каждого k-преподавателя и для каждого i-параметра оценки bki в 5-балльной системе переводятся в оценки pki по процентной системе, pki = 20bki, что соответствует принятой в университете шкале оценок, когда 100 – это наилучшая оценка. Далее, для каждого k-преподавателя на основе этих 17-ти оценок рассчитывается средняя оценка, которая меняется в диапазоне от 20 до 100. Значение этой оценки принимается за рейтинг преподавателя pk. Для каждого преподавателя рассчитывается свой рейтинг. Всего были рассчитаны рейтинги 102 преподавателей: 71 рейтинг для преподавателей английского языка факультета МО и 31 – для МЖ.
16 В дополнение к общему рейтингу для каждого преподавателя дается детализация: какие из 17-ти параметров получили высокую оценку (от 80 до 100), а какие – низкую (менее 60%, то есть меньше 3 баллов). Такая информация позволяет выявить потенциальные «зоны роста» преподавателя, даёт возможность проследить динамику оценок под воздействием разных факторов.
17 Главный недостаток данной методики касается оценки переменных в группе «методика преподавания». Зачастую студент не может оценить эти параметры квалифицированно, а опора на их интуитивное понимание при оценивании данного показателя может приводить к искажениям. Среди других ограничений можно отметить субъективность трактовки респондентами предлагаемых параметров оценивания преподавателей. Этот факт неоднократно фиксировался в процессе опроса. Заполняя анкету, некоторые студенты записывали на ней свои вопросы напротив тех или иных параметров, что наводило на мысль о недопонимании их содержания.
18

Результаты анализа опроса студентов.

19 Парадоксальным эмпирическим результатом, инициировавшим проверку гипотез о влиянии различных факторов на оценивание, стало различие в рейтингах между коллективами преподавателей английского языка факультетов МО и МЖ. Более половины преподавателей кафедры английского языка факультета МО (37 из 71) получили очень высокие рейтинги – 90% и выше. На факультете МЖ аналогичные рейтинги имеют лишь около трети преподавателей – 11 человек из 31. Глядя на эти результаты, социолог сразу задается вопросом: чем обусловлен разрыв в рейтингах – различным качеством языковой подготовки на двух факультетах или спецификой оценивания студентами разных факультетов своих преподавателей? В рамках данного исследования сделана попытка определить, есть ли влияние второго фактора и в чем оно проявляется.
20 Для решения данной задачи требуется выявление максимального объёма связей между переменными. С этой целью была произведена перегруппировка переменных с 4-х групп на 3: «фактические параметры преподавания», «параметры индивидуального восприятия преподавания», «параметры профессионализма преподавателя» (табл. 2).
21

22

В отличие от исходной группировки переменных, отражающей позицию преподавателя, второй способ демонстрирует позицию студента. Далее для анализа связи переменных и для выдвижения новых гипотез были рассчитаны значения средних оценок по этим двум группам переменных (табл. 3).
23

24

Корреляционный анализ позволил выявить группы факторов, влияющих на количественные значения группы переменных с «позиции студента», – универсальные (общие) для факультетов и специфические для каждого из них (табл. 4). 
25

26

Оказалось, что переменные «курс» и «удовлетворенность качеством преподавания английского языка» – общие для двух факультетов факторы, одинаково влияющие на рейтинги двух групп преподавателей: 1) чем выше удовлетворенность студентов качеством преподавания английского языка, тем студенты выше оценивают своих преподавателей; 2) при переходе от второго курса к четвёртому в целом оценки повышаются.
27 На основе факторного анализа были выявлены специфические для каждого факультета группы значимых переменных, связанных со значениями средних по факультетам оценок и рейтингов преподавателей. На их основе и был сделан вывод о возможных различиях в социально-психологических установках на обучение студентов двух факультетов, обусловливающих различия в рейтингах преподавателей двух кафедр английского языка.
28 На рейтинги преподавателей МО в разной степени влияют переменные, характеризующие образовательную деятельность самого студента: «количество посещаемых студентом занятий по английскому языку», «сложности обучения» и «итоговая оценка по предмету в семестре». Так, чем чаще студенты-международники посещают занятия, тем выше они оценивают своих преподавателей. Среди тех, кто посетил «почти все занятия в семестре», на 7,5 п.п. меньше тех, кто дал среднюю оценку своим преподавателем (3–4 балла). Чем легче студенту МО дается изучение английского языка, тем выше он оценивает преподавателей по всем критериям; наоборот, те, кто отмечает, что ему сложно учиться, чаще других оценивает преподавателей ниже 4 баллов.
29 Для факультета МЖ значимыми переменными, связанными со значениями рейтингов, стали «факторы успеха в изучении английского языка» и «пол» (студентки проявляют большую требовательность к преподавателям, они чаще, чем студенты мужского пола, оценивают параметр «профессионализм» не на максимальный балл). Эти переменные не относятся к образовательной деятельности самого студента. На то, что у этих студентов ответственность за результат обучения переносится с себя на преподавателя, указывает, например, наличие в списке значимых переменной «факторы успеха в изучении английского языка». На факультете МО статистической связи между оценками и значением этой переменной нет. На вопрос «Что, на ваш взгляд, является самым важным для успешного изучения английского языка?» предложены варианты ответа, связанные исключительно с деятельностью преподавателя: профессиональное мастерство преподавателя, методика преподавания, контакт преподавателя с группой, соблюдение преподавателем трудовой дисциплины. Номинальная шкала не предполагает динамических отношений переменных в виде однозначной линейной связи; тем не менее, факт наличия в списке значимых вопроса в такой формулировке дает возможность сделать предположение о смещённом локусе контроля у студентов МЖ.
30

Выводы.

31 Таким образом, значения рейтингов преподавателей в определенной степени могут определяться социально-психологическими установками студентов на обучение или направленностью локуса контроля обучающихся: студенты с внутренним локусом контроля с большой вероятностью будут выше оценивать преподавателей, чем студенты с внешним локусом контроля.
32 Действительно, в процессе анализа данных опроса через проведение факторного анализа обнаружена тенденция разной направленности локуса контроля у двух групп студентов. У студентов факультета МО, «студентов-международников», в большей степени выражен внутренний локус контроля – в учебе они скорее полагаются на себя, на свои усилия. У «студентов-журналистов» локус контроля смещён вовне: ответственность за результат обучения в большей степени переносится с себя на преподавателя. Этот вывод сделан на основе определения значимых корреляций между переменными средних оценок и переменными «курс», «удовлетворенность качеством преподавания английского языка», «посещаемость занятий в семестре», «итоговая оценка по английскому языку в прошлом семестре», «пол», «субъективная оценка сложности изучения английского языка», «педагогические факторы успеха в изучении английского языка».
33 Выявленная закономерность препятствует прямолинейной интерпретации оценок студентами работы преподавателей как инструмента менеджериального контроля за преподавателем. Если «студенты-международники» имеют иной локус контроля, чем «студенты-журналисты», то более низкие оценки преподавателей, работающих со второй группой студентов, могут объясняться вовсе не худшим качеством работы преподавателей, а различными социально-психологическими качествами обучаемых. В таком случае полученные оценки допустимо использовать для сравнения только преподавателей, работающих на одном факультете, но не на разных факультетах.
34 Полученные результаты основаны на первичном анализе данных и применимы к данному конкретному кейсу, их нельзя обобщать и экстраполировать на другие вузы и группы студентов. Тем не менее сам принцип социологического сопровождения процесса составления рейтингов преподавателей на основе опросов студентов может быть использован и в других образовательных организациях. Привлечение социологов может способствовать уменьшению рисков ошибок, механического использования результатов рейтингов без их предварительного социологического обоснования и анализа.

References

1. Ball S.J. (2003) The teacher's soul and the terrors of performativity. Journal of Education Policy. Vol. 18. No. 2: 215–228.

2. Connell R. (2013) The neoliberal cascade and education: an essay on the market agenda and its consequences. Critical Studies in Education. No. 54(2): 99–112.

3. Dezhina I., Kliucharev G. (2018) Russian education for innovative economy: «The pressure points». Sotsiologicheskie Issledovaniya [Sociological studies]. No. 9: 40–48. (In Russ.)

4. Kehm B.M. (2016) Universities’ ratings – impact and unforeseen side-effects. Sotsiologicheskie Issledovaniya [Sociological studies]. No. 8: 71–80. (In Russ)

5. Kravchenko S.A. (2013) Becoming complex social reality: Issues of new vulnerabilities. Sotsiologicheskie Issledovaniya [Sociological studies]. No. 5: 3–12. (In Russ)

6. Nefedova, A.I. (2016) Мeasuring the quality of college life on an example of Russian University. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 4: 91–98. (In Russ)

7. Ordorika I., Lloyd M. (2015) International rankings and the contest for university hegemony. Journal of Educational Policy. No. 30(3): 385–405. DOI: 10.1080/02680939.2014.979247.

8. Osipov A.M. (2017) Trojan horses of neo-liberalism in education. Sotsiologicheskie Issledovaniya [Sociological studies]. No. 8: 136–146. (In Russ)

9. Torkunov A.V. (2018) Challenges to Social and Human Sciences in Russia. POLIS. Politicheskie issledovaniya [Polis. Political Studies]. No. 5: 8–16. (In Russ.)

10. Yang Z., Qu Z, Sun D. (2016) Empirical Research on the Curriculum Satisfaction of Postgraduates in Mathematics. American Journal of Educational Research. Vol. 4. No. 3: 221–226.

Comments

No posts found

Write a review
Translate