МОСКВА, 10 ноя –. Более десяти новых исследований о проблемах ускорения и упрощения использования больших языковых моделей (LLM) представили на конференции по эмпирическим методам обработки естественного языка EMNLP 2025 в Китае ученые из российского Института искусственного интеллекта AIRI, сообщает пресс-служба научно-исследовательской организации.
В частности, ученые провели первое систематическое сравнение методов, повышающих устойчивость LLM к незначительным изменениям форматирования запросов пользователей.
«Хорошо себя проявил метод на основе калибрации, «смягчающий» слишком уверенные предсказания модели. Однако он оказался неустойчив к сдвигам распределений. Исследователи предложили модификацию метода на основе выбора самого частого ответа из нескольких независимых генераций, значительно повышающую устойчивость передовых LLM», — пояснили в Институте AIRI.
Помимо этого, исследователи обнаружили, что большие языковые модели способны восстанавливать длинные тексты без пошаговой генерации.
«Ранее считалось, что для создания последовательного текста модели необходимо генерировать его слово за словом. Однако новое исследование показало: если подать модели всего два специально обученных эмбеддинга — числовых представления — она может за один проход выдать несколько сотен точных токенов, то есть слов и фраз. Ученые также выяснили, что такие эмбеддинги не являются уникальными для конкретного текста, но образуют связные области в пространстве представлений, что может помочь создать отдельный «кодировщик» для быстрого преобразования текста в нужную форму. Работа открывает новые перспективы для ускорения и упрощения работы языковых моделей», — отмечается в сообщении.
На EMNLP 2025 был также продемонстрирован новый бенчмарк для оценки того, насколько хорошо языковые модели, обученные на химических данных, способны решать композиционные задачи.
«Бенчмарк состоит из композиций базовых химических задач, таких как предсказание результата реакции, описания молекулы по формуле, определение активности. На таких задачах команда протестировала несколько современных химических LLM, выявив их сильные и слабые стороны в решении составных задач. Созданный бенчмарк позволяет глубже понять, как модели обрабатывают химический язык, и служит инструментом для дальнейших улучшений моделей в этой области», — заключили в Институте AIRI.
Конференция по эмпирическим методам обработки естественного языка — одна из самых престижных конференций в области обработки естественного языка. На конференции представляют доклады не только о таких направлениях, как диалоговые системы и наименование сущностей, но и актуализируют дискуссии о конфиденциальности ИИ-систем, этике в компьютерной лингвистике и влиянии больших языковых моделей на общество.
Источник: РИА Новости