Продвинулись от интуитивного, даже наивного восприятия социальной работы к ее профессиональному пониманию
Эффективность программы мы независимо оцениваем двумя способами – посредством анкет и с помощью анализа работы участников над типизиро-ванными кейсами.
I. Анкетирование
В начале и конце каждого блока участники заполняют анонимные анкеты. В них вшит целый ряд шкал, что дает многомерную картину.
С одной стороны, мы собираем субъективную информацию о восприятии участников. Мы спрашиваем их мнение о программе: насколько она близка к их каждодневной работе; насколько новыми и полезными являются для них полученные на семинаре знания. Мы просим участников оценить изменения в своем понимании и в компетенциях: в какой мере обучение побудило их по-новому взглянуть на тему, и насколько хорошо они понимают, как применить на практике полученные на семинаре знания.
С другой стороны, мы собираем более объективные данные о влиянии программы на компетентность и ресурсность специалистов, задавая им проблема-тизирующие вопросы. В начале и конце программы мы просим их сформулировать наиболее значимые для них идеи социальной работы, ее ориентиры. Мы спрашиваем также, что может помешать применить полученные знания на практике. Оба вопроса позволяют оценить, в какой мере участники продвинулись от интуитивного, даже наивного восприятия социальной работы к ее профессиональ-ному пониманию. Также в начале и конце программы мы задаем вопросы: что помогает специалистам справляться с трудными ситуациями и стрессом на работе; какие формы поддержки они видят или хотели бы видеть в своем регионе. Здесь мы оцениваем, насколько шире и профессиональнее участники стали видеть разные способы и источники восполнения своей ресурсности.
II. Кейс-метод
Более точно и тонко сдвиг в профессионализме участников мы оцениваем на основании их работы над практическими кейсами. Такая оценка – значительно более современный и надежный инструмент измерения эффективности программы, чем анкетирование.
На сегодняшний день в социальной работе в России такой инструмент является очень редким, если не уникальным.
Разработчики программы подготовили пять кейсов, отображающих типизированные ситуации, характерные для социальной работы в области проблемного детства. Участники зачитывают и обсуждают кейсы в мини-группах, а затем представляют итог своего анализа группе в целом. Этот рассказ записывается на видео, которое потом просматривают и оценивают не связанные с группой эксперты.
Оценка экспертов проводится на основании специально разработанных критериев и шкал, разбитых на три группы. Все шкалы пятибалльные с показателями от «очень плохо» до «очень хорошо».
1. Многомерность видения (фокусы внимания при обсуждении)
✓ Привязанность, отношения в семье.
✓ Социальная сеть, окружение семьи, ресурс расширенной семьи.
✓ Способность «видеть» других членов семьи с их собственными запросами, нуждами, видением ситуации.
✓ Прошлое ребенка: травмирующие и ресурсные ситуации; прошлые значимые взаимоотношения.
✓ Потребности ребенка и его запросы в данный момент («глазами ребенка»). 2. Характер видения (критичность и ценности)
✓ Оценочность суждения, ярлыки, клише.
✓ Фиксация на своих интерпретациях или, напротив, критичность к ним, понимание, что предположения надо проверять.
✓ Ценности (отстраиваются от ребенка или от взрослых) 3. Профессионализм (профессиональные компетенции)
✓ Контакт с реальной ситуацией (фиксируют ли, кто обратился, какой основной запрос клиента и ребенка, что актуально в данный момент).
✓ Что мы как социальные службы можем сделать для реального воздействия на проблему? Поиск решения, а не перебор близлежащих услуг.
✓ Конкретное видение социальной работы в данном случае: как формулируют цель работы, контракт, дробление целей, поэтапность решений, первые шаги.
Оценки в баллах позволяют видеть по разным шкалам как стартовый уро вень, демонстрируемый участниками, так и его изменение. Величина сдвига отражает влияние «Всеобуча» на объем видения и компетенции участников. Можно также сравнивать показа тели разных регионов или разных лет. Полу ченные данные можно проверять математиче скими методами на статистическую значимость (достоверность).
III. Результаты по всем группам Всеобуча и в Приморском крае
Сразу же отметим, что оценки посредством анкет и кейсов хорошо согласуются между собой. Они подкрепляют и дополняют друг друга. Далее приведены данные по видеокейсам.
Во всех группах Всеобуча и по всем шкалам сдвиг оценок положительный. Иначе говоря, программа всегда поднимает уровень подготовки специалистов. Средний сдвиг оценок по всем трем шкалам в результате обучения специалистов по всем регионам с 2018 по 2023 год равен 0,71 балла.
В целом, это хороший результат, подтверждающий эффективность программы. В рамках довольно краткой 9-дневной программы, дающей основы основ социальной работы, реально рассчитывать на общий сдвиг в видении и компетенциях участников на 0,5–1 балл по 5-балльной шкале. Отметим, что в мировой университетской практике курс основ социальной работы занимает не один семестр.
Анализ данных позволяет с уверенностью утверждать, что программа повышения квалификации кадров проекта «Всеобуч» устойчиво оказывает тот образовательный эффект, который от нее можно ожидать в реальной практике. Стоит подчеркнуть, что все наши данные проходят математическую обработку и проверку. Мы проверяем достоверность (значимость) полученных данных. Все сдвиги в компетенциях участников имеют доказанную достоверность! Кстати, мы обнаружили ряд доказанных интересных закономерностей и связей, которые еще ждут своего исследования.
Кейс-метод оказался даже более информативным, чем можно было предполагать.Достаточно сказать, что математическая обработка кейсов позволяет выявить некоторые особенности группы «вслепую». Информативны могут быть как сдвиги показателей, так и их стартовые уровни. К примеру, в Приморском крае, как и в других регионах, четко видна разница между стартовым уровнем специалистов города и отдаленных районов.
Анализ кейсов сигнализирует, когда при наборе группы не был выполнен принцип межведомственного набора. Если по ряду шкал сдвиги значительно «проседают» — это четкое указание, что состав группы слишком однороден или перекошен. Иначе говоря, не было выполнено базовое условие — в группе должны быть представлены все основные стороны (акторы) социальной работы в области проблемного детства.
По всем регионам можно с уверенностью констатировать, что со временем эффект от проведения Всеобуча растет. Так, в группах Приморья в 2019 г. был достигнут общий сдвиг показателей по всем трем шкалам 0,55 балла, а весной 2023 г. общий сдвиг составлял уже 0,72 балла. Это говорит как о росте профессионализма тренеров, так и о совершенствовании программы.
Но в Приморском крае выявляется аномалия. Здесь сильно повысились сдвиги по второй и третьей шкалам. Так, сдвиг по профессионализму в 2019 г. был 0,47 балла, а в 2023 г. удалось достичь сдвига уже 1,03 балла! А вот по первой шкале — многомерности видения — повышения сдвига не произошло. Он остался примерно на уровне 0,5 баллов. Столь выраженная асимметрия в трендах, по-видимому, объясняется тем, что в Приморском крае, в отличие от многих других регионов, нет системы центров психолого-педагогической помощи или их аналогов. Некоторые линейки наших шкал как бы бьют в пустоту: эти компетенции нет возможности применять на практике. Но это не недостаток метода, а его достоинство: он позволяет подчеркнуть пробелы в системе социальной работы по проблемному детству.
По итогам 2023-2024 учебного года Всеобуча предполагается подготовить сводный отчет по всем годам и регионам. В нем будет просуммирован большой накопленный опыт по переобучению сотен специалистов и представлена широкая палитра результатов и выводов.
Текс: Елена Журавлева, Александр Элиович
Помогите нам продолжать разговор о преодолении сиротства в России. ИРСУ работает благодаря пожертвованиям сторонников
Что еще почитать и посмотреть? Смотрите нашу подборку полезных материалов