Большие языковые модели (LLM) вроде всем известного ChatGPT в последнее время становятся все более популярными, и многие интернет-пользователи эффективно и с удовольствием применяют их. Загвоздка в том, что наилучшие результаты обеспечивает запуск чат-ботов на мощном компьютере.
Для решения этой проблемы разрабатываются также малые языковые модели (SLM), которые имеют похожую архитектуру, но меньше по размеру. Их можно развернуть прямо на смартфоне, чтобы незаменимый помощник в лице нейросети был всегда под рукой.
Исследователи из Пекинского университета почты и телекоммуникаций (BUPT) недавно представили PhoneLM, новую архитектуру SLM для мобильных устройств — эффективную и высокопроизводительную. Разработка описана в статье, опубликованной на сервере препринтов arXiv.
«Раньше разработка LLM следовала конвейеру, включающему сначала проектирование и предварительную подготовку LLM для достижения хороших возможностей (т. е. точности), а затем оптимизацию на этапе постобучения — в частности, квантизацию и обрезку. Наши эксперименты показывают, что конфигурация LLM (например, ширина и глубина) оказывают большее влияние на эффективность выполнения, чем на возможности», — рассказал доцент Мэнвэй Сюй с факультета компьютерных наук BUPT.
Предложенная Сюем и его коллегами концепция подразумевает приоритет настройки на оборудование в процессе проектирования.
«PhoneLM следует стандартной архитектуре LLM. Особенность этой модели заключается в том, как она спроектирована: мы ищем гиперпараметры архитектуры (например, ширину, глубину, количество голов и т. д.) на конкретном оборудовании (смартфон высокого класса), выбираем настройку с самой высокой скоростью вывода, а затем дообучаем ее с использованием высококачественных данных», — объяснил разработчик.
В первоначальных тестах на смартфонах PhoneLM показала себя замечательно, работая чрезвычайно быстро по сравнению с другими LLM с аналогичными параметрами.
Исследователи намерены создать виртуального помощника на базе своей SLM. Желающие могут присоединиться к разработке — код модели выложен в открытый доступ, а Мэнвэй Сюй ищет высокомотивированных сотрудников.