Компьютерные системы осваивают все новые задачи, которые раньше казались типично человеческими: разбивают чемпионов в настольные и компьютерные игры, распознают тексты и изображения, водят машины.
Но заветная мечта человечества — создать универсальный искусственный интеллект, который сможет взяться за любую задачу.
Юрий Чехович, исполнительный директор компании Антиплагиат, не верит, что компьютер сможет начать мыслить.
Он рассказал, почему скепсис по отношению к т.н. «мыслительным возможностям» вычислительных систем не помешал его компании принять участие в конкурсе Up Great ПРО//ЧТЕНИЕ, в котором победившая система должна понимать и оценивать текст сочинения ЕГЭ не хуже специалиста в данной области.
Конкурс Up Great ПРО//чтение: проверить за 60 секунд
С чего начать создание универсального искусственного интеллекта?
С общения, конечно!
Если он все умеет, то в первую очередь должен понять нашу естественную речь и ответить не в виде ноликов и единиц, а в понятной нам форме.
Организаторы конкурса Up Great ПРО//чтение формализовали эту задачу — победитель должен создать программу, умеющую выявлять фактические и смысловые ошибки в академических эссе за 30 секунд не хуже, чем специалист.
Конкурс продлится до 2022 года, а наградами станут по 100 млн рублей (!) за создание вышеуказанных систем для работы с текстами на русском и английском языках.
Организовавшая конкурс Российская венчурная компания (РВК) признает, что столь заметная сумма вызвана сложностью задачи — на данный момент в мире не известно ни одного решения, и фактически участникам приходится проводить научное исследование.
Для поощрения участников могут быть выданы менее значительные денежные призы за решение промежуточных задач.
От теста Тьюринга к прочтению текстов
Юрий Чехович рассказал, что основным мотивом участия в конкурсе были вовсе не деньги.
«Мы хотели показать возможности технологий, применяемых в системе «Антиплагиат».
Часто ее воспринимают как карательную, но на самом деле в нее заложен исследовательский потенциал, который позволит создавать автоматических помощников для написания текста человеком».
Что касается, конкурсного задания, то Чехович сравнивает его с современным тестом Тьюринга: «Задача участников конкурса — сделать алгоритм, который наилучшим образом будет моделировать деятельность преподавателя.
Фактически мы проходим специфический тест Тьюринга — в идеальном случае сторонний наблюдатель не отличит результат работы машины от результата учителя».
Тест Тьюринга был придуман в 1950-х годах, ученый считал его стандартом на «понимание» человека компьютером.
Фактически он сводится к «чату» судей с испытуемыми и машинами.
При этом члены жюри не знают, кто с ними общается, если в 30% случаев они принимают машину за человека, тест считается пройденным.
В своем классическом виде он был пройден в 2014 году, программу создали выходцы из России.
Но наше восприятие меняется. В 50-е годы и игра компьютера в шахматы на уровне чемпиона мира считалась не возможной.
В конце 20 века эта задача была решена, а в начале 21 века началось бурное развитие искусственного интеллекта во многих других направлениях.
Вычислительные мощности настолько подешевели, что стало возможным создавать многослойные нейросети и применять к ним глубокое обучение.
В результате компьютерные системы смогли превзойти человека в распознавании изображения, настольных и компьютерных играх.
Упростилось и обучение ИИ — в систему загружались примеры, а она училась на их базе создавать что-то новое.
Например, на базе алгоритмов обработки естественных языков GPT-3 удалось научить компьютеры писать сочинения, сравнимые с творением школьника.
В таких условиях сделать чат, в котором машина ведет себя похоже на человека, стало уже решаемой задачей.
Тем более что разработчики шли на всякие хитрости: машина пускалась шутить или возмущалась, когда алгоритмы не могли дать четкого ответа.
Настала пора взойти на новую ступень — не просто проанализировать текст, но и дать понятные замечания по обнаруженным ошибкам.
Чего удалось достичь и почему учителям все еще приходиться проверять школьные сочинения?
Как ЕГЭ помог искусственному интеллекту
«Школа — естественное расширение нашего формата», — считает Чехович.
Он добавляет, что там пока нет большой необходимости в системе «Антиплагиат», зато нужна обработка текстов.
И для нее подходят уже применяемые в компании алгоритмы.
Разумная работа с естественными языками — давняя мечта человечества, исполнение которой приблизилось с внедрением глубокого обучения.
Для обучения в программу загружаются эссе, в которых ошибки уже отмечены специалистами.
Сейчас организаторами размечено около 2400 эссе на русском и английском языках.
Обучившись даже на такой скромной обучающей выборке, ИИ показывает неплохой результат.
Юрий показывает пример эссе по «Войне и миру» — большая часть замечаний как будто написана учителем.
И только парочка невразумительных комментариев выдают программу.
Например, фразу «Вернувшись обновленным в Лысые горы … князь Андрей теряет жену» искусственный интеллект помечает как ошибку.
И даже уточняет, что Андрей приехал туда вместе с женой.
Однако здесь есть доля вины разработчиков, которые не учли тот факт, что однотипных событий вида «князь Андрей приезжает в Лысые горы» может быть несколько и алгоритму стоило бы продолжить проверку фактуры по тексту.
Пример анализа текста ИИ.
Зеленым выделены удачные фрагменты, красным — ошибки.
Наведя курсор на выделенный фрагмент, можно получить пояснения по ошибке.
В нашем случае сочетание «свое собственное» несет лишнее слово, достаточно было бы любого из них
Юрий Чехович объясняет, что повысить качество проверки эссе можно, увеличив обучающую выборку в сотни и тысячи раз.
Сейчас это главное препятствие на пути повышения качества.
Но выборка должна быть стандартизирована, чтобы обучение прошло эффективно.
Здесь идеально подошли бы оцифрованные сочинения и рефераты по истории для ЕГЭ, а также результаты их проверки в том же цифровом формате.
«Сейчас благодаря ЕГЭ появилась формализация, ведь каждый год российские школьники создают сотни тысяч текстов, отвечающих достаточно четким требованиям.
И их конечно проверяют преподаватели, есть набор правил, которые должны отслеживаться», — объясняет Юрий Чехович.
По его оценкам, оцифровка миллионов работ для ЕГЭ и результатов их проверки может дать принципиальный скачок в развитии алгоритмов.
Пока, правда, такого количества оцифрованных сочинений, результаты проверки которых тоже оцифрованы, еще нет.
В то же время образование все больше переходит в цифровую среду — очередные подвижки в этом направлении произошли в пандемию.
Возможно, именно она подтолкнет к тому, что сочинения будут набираться на клавиатуре и проверяться с компьютеров.
При этом Чехович добавляет, что есть много моментов, которые не дают перейти полностью на компьютерную проверку результатов.
Детям важно писать ручкой, чтобы развивать мелкую моторику.
Есть и чисто технологические моменты: «Я против проверки текста и вынесения окончательного решения исключительно по результатам работы системы.
В этом случае система возносится до вершительницы судеб.
У ученика обязательно должно быть право потребовать комментарий от «живого» преподавателя.
Есть масса ситуаций, в которых алгоритм может ошибиться, например, ошибка в базе данных или рассмотрение случая, на котором алгоритм еще не обучался.
Окончательное решение в спорных ситуациях всегда должен принимать человек».
Как проверить сочинение
Чехович считает, что пока создана скорее альфа-версия будущей программы для проверки эссе.
Но пока недостаточно просто загрузить обучающую выборку сочинений в нейросеть, чтобы она сумела проверять новые.
Нужно фактически создать модель знаний проверяющего: загрузить в базу произведения по литературе, истории, обществознанию и другим предметам.
При этом нельзя все сделать каким-то одним алгоритмом, тем же GPT-3, чтобы проверить все и дать пояснение к правке.
Например, для вылавливания повторов однокоренных слов достаточно статистических методов.
А вот для оценки стиля и фактологии уже нужны алгоритмы машинного обучения (входят в технологию искусственного интеллекта).
