Эффективность стратегий промт-инжиниринга в генерации математического образовательного контента: экспериментальное исследование
Проблема и цель. В статье представлены результаты исследования проблемы генерации качественного образовательного контента по математической грамотности для школьников 5-х классов с использованием генеративного искусственного интеллекта. Проблема обусловлена дефицитом адаптивных заданий, соответствующих стандартам, и ограничениями искусственного интеллекта (галлюцинации, невоспроизводимость). Цель – оценить эффективность авторской стратегии промт-инжиниринга для генерации педагогически релевантных и возрастно-адекватных задач.
Методология. Использованы системный и деятельностный подходы. Применены методы анализа опыта применения искусственного интеллекта в образовании, экспериментальной генерации задач с гибридной стратегией промт-инжиниринга (Few-Shot Learning + Chain-of-Thought + Role Prompting) на базе ChatGPT-4o, экспертной оценки (10 учителей математики, стаж ≥ 12 лет) и статистической обработки данных (коэффициент Коэна κ, средние значения µ). Верификация включала генерацию задач в новом контексте (аэропорты) и оценку по критериям адекватности, соответствия возможностям учащихся и сложности.
Результаты. Основные результаты заключаются в успешной апробации стратегии, обеспечившей генерацию структурно согласованных задач (κ = 0,82). Подчеркивается критическая значимость техники Chain-of-Thought для создания многошаговых заданий. Авторами отмечается двойная функциональность задач (обучение и диагностика).
Эксперимент подтвердил высокую экспертную оценку адекватности (µ = 4,81), соответствия формата (µ = 4,77) и полноты описания (µ = 4,82). Выявлено ограничение по сложности терминологии для части задач.
Заключение. Делаются выводы о высокой эффективности комбинированной стратегии промт-инжиниринга для генерации задач для развития математической грамотности учащихся и ее потенциале для интеграции в цифровые платформы. Для внедрения требуется оптимизация лингвистической адаптации и разработка конвейера валидации.
промт-инжиниринг; генерация учебных задач; математическая грамотность; генеративный искусственный интеллект; Chain-of-Thought; ролевой промтинг.
- Касымова Т. Д., Сыдыкова М. Б., Жапарова З. А. Применение искусственного интеллекта в математике: научный и социальный аспекты // Бюллетень науки и практики. – 2023. – Т. 9, № 6. – С. 32–37. URL: https://elibrary.ru/item.asp?id=54034992 DOI: https://doi.org/10.33619/2414-2948/91/03
- Прокопенкова Е. Г. Использование нейросетей при создании игровых занятий по математике // Вестник МГПУ. Серия: Информатика и информатизация образования. – 2023. – № 4. – С. 167–171. URL: https://elibrary.ru/item.asp?id=60001807 DOI: https://doi.org/10.25688/2072-9014.2023.66.4.13
- Мошенина Е. Д. Применение искусственного интеллекта для составления и решения задач, направленных на формирование математической грамотности // Наука в мегаполисе. – 2024. – № 7. URL: https://elibrary.ru/item.asp?id=67859517
- Schorcht S., Buchholtz N., Baumanns L. Prompt the problem — investigating the mathematics educational quality of AI-supported problem solving by comparing prompt techniques // Frontier in Education. – 2024. – Vol. 9. – P. 1–15. DOI: https://doi.org/10.3389/feduc.2024.1386075
- Wanner J., Herm L. V., Heinrich K. et al. The effect of transparency and trust on intelligent system acceptance: Evidence from a user-based study // Electron Markets. – 2022. – Vol. 32 (4). – P. 2079–2102. DOI: https://doi.org/10.1007/s12525-022-00593-5
- Navigli R., Conia S., Ross B. Biases in Large Language Models: Origins, Inventory and Discussion // Journal of Data and Information Quality. – 2023. – Vol. 15 (2). – P. 1-21. DOI: https://doi.org/10.1145/3597307
- Rodriguez-Torrealba R., Garcia-Lopez E., Garcia-Cabot A. End-to-End generation of Multiple-Choice questions using Text-to-Text transfer Transformer models // Expert Systems with Applications. – 2022. – Vol. 208. – P. 118258. DOI: https://doi.org/10.1016/j.eswa.2022.118258
- Küchemann S., Rau M., Neumann K., Kuhn J. Editorial: ChatGPT and other generative AI tools // Front. Psychol. – 2025. – Vol. 16. – P. 1535128. DOI: https://doi.org/10.3389/fpsyg.2025.1535128
- Денищева Л. О., Краснянская К. А., Рыдзе О. А. Подходы к составлению задач для формирования математической грамотности учащихся 5-6 класса // Отечественная и зарубежная педагогика. – 2020. – Т. 2, № 2. – С. 181–201. URL: https://elibrary.ru/item.asp?id=44358182
10. Steiner G. Mathematical Literacy for the Non-mathematician // Nature. – 1973. – Vol. 243. – P. 65–67. DOI: https://doi.org/10.1038/243065a0
11. Рослова Л. О., Краснянская К. А., Квитко Е. С. Концептуальные основы формирования и оценки математической грамотности // Отечественная и зарубежная педагогика. – 2019. – Т. 1, № 4. – С. 58–79. URL: https://elibrary.ru/item.asp?id=39249304
12. Рослова Л. О., Квитко Е. С., Денищева Л. О., Карамова И. И. Проблема формирования способности «применять математику» в контексте уровней математической грамотности // Отечественная и зарубежная педагогика. – 2020. – Т. 2, № 2. – С. 74–99. URL: https://elibrary.ru/item.asp?id=44358177
13. Денищева Л. О., Савинцева Н. В., Сафуанов И. С., Ушаков А. В., Чугунов В. А., Семеняченко Ю. А. Особенности формирования и оценки математической грамотности школьников // Science for Education Today. – 2021. – Т. 11, № 4. – С. 113–135. URL: https://elibrary.ru/item.asp?id=46513828 DOI: http://dx.doi.org/10.15293/2658-6762
14. Аргунова Н. В., Сотникова Н. В. Формирование математической грамотности обучающихся 8 класса на основе решения практико-ориентированных задач // Современные наукоемкие технологии. – 2023. – № 9. – С. 80–84. URL: https://elibrary.ru/item.asp?id=54630263 DOI: https://doi.org/10.17513/snt.39764
15. Cohen J. A Coefficient of Agreement for Nominal Scales // Educational and Psychological Measurement. – 1960. – Vol. 20 (1). – P. 37–46. DOI: https://doi.org/10.1177/001316446002000104
16. Krathwohl D. R. A Revision of Bloom’s Taxonomy: An Overview // Theory Into Practice. – 2002. – Vol. 41 (4). – P. 212–218. DOI: https://doi.org/10.1207/s15430421tip4104_2
17. Ivanov V., Solnyshkina M. Solovyev V. Assessment of reading difficulty levels in russian academic texts: approaches and metrics // Journal of Intelligent & Fuzzy Systems. – 2018. – Vol. 34 (5). – P. 3049–3058. URL: https://elibrary.ru/item.asp?id=38618046 DOI: https://doi.org/10.3233/JIFS-169489