LMArena

LMArena — популярная платформа, движимая сообществом, для краудсорсингового бенчмаркинга больших языковых моделей, разработанная исследователями UC Berkeley из LMSYS. Она работает так: пользователи отправляют подсказки, получают два анонимизированных ответа моделей и голосуют за лучший, а эти голоса попадают в живую таблицу лидеров с использованием системы рейтингов Elo, создавая рейтинги, подтверждённые людьми, по реальной производительности моделей в задачах с текстом, кодом и изображениями. Платформа предоставляет бесплатный доступ без регистрации для тестирования и сравнения различных моделей ИИ, демократизируя оценку и предоставляя прозрачные сведения о производительности моделей.

Система слепых боёв LMArena показывает пользователям два анонимных ответа моделей ИИ на одну и ту же подсказку, не раскрывая, какая модель сгенерировала каждый ответ. Затем пользователи голосуют за ответ, который, по их мнению, лучше, создавая непредвзятые сравнения, основанные исключительно на качестве ответа, а не на репутации бренда. Такой слепой подход гарантирует, что рейтинги отражают реальную производительность, а не предвзятые ожидания о различных моделях. Голоса из этих слепых боёв поступают в систему рейтингов Elo, которая обновляет живые таблицы лидеров почти в реальном времени, формируя динамичное краудсорсинговое представление о качестве моделей на основе прямого взаимодействия пользователей и честной оценки.

LMArena использует систему рейтингов Elo, похожую на шахматные ранжирования, чтобы формировать живые таблицы лидеров, которые обновляются почти в реальном времени по мере того, как пользователи голосуют при сравнении моделей. Эта продуманная система ранжирования отражает коллективные предпочтения людей и предоставляет динамичную краудсорсинговую картину качества моделей. Когда пользователи голосуют за одну модель против другой в слепых боях, система Elo корректирует рейтинги обеих моделей на основе ожидаемого результата и фактического исхода. Это обеспечивает то, что рейтинги основаны на реальной сравнительной производительности, а не на изолированных бенчмарках, создавая более точное представление о том, какие модели лучше работают в практических сценариях по разным задачам.

LMArena важна тем, что демократизирует оценку ИИ, предоставляя прозрачный краудсорсинговый способ увидеть, как разные модели ИИ сопоставляются за пределами традиционных бенчмарков. Платформа даёт обратную связь из реального мира, которая помогает формировать будущее моделей ИИ, включая предоставление раннего доступа к предрелизным версиям. Она охватывает не только чат — также кодирование, генерацию и редактирование изображений, предоставляя комплексные сведения о возможностях моделей. Прозрачность данных платформы и публичная методология позволяют исследователям и компаниям понять, как модели работают в реальных сценариях, способствуя развитию области ИИ путём предоставления доступных и верифицируемых результатов оценки.

Рейтинги LMArena основаны на краудсорсинговых человеческих оценках через слепые бои, что устраняет предвзятость и обеспечивает сравнения, отражающие реальное качество ответов. Однако рейтинги зависят от состава пользовательской базы и типов используемых подсказок, то есть представляют собой коллективные предпочтения людей, а не абсолютную истину. Система рейтингов Elo предоставляет продуманный метод агрегирования голосов, но позиции в рейтингах могут варьироваться в зависимости от конкретных задач и подсказок. Прозрачность платформы позволяет пользователям понять методологию и данные, лежащие в основе рейтингов, и делает очевидным, что это — подтверждённые людьми, краудсорсинговые представления о качестве моделей, а не окончательные объективные измерения.