PicoLlama
Запуск языковой модели LLAMA2 на Pico2 с локальной инференсией текста без интернета
Установка
Последняя опубликованная версия- Скачайте архив — реестр отдает его уже проверенным.
- В Arduino IDE выберите «Скетч → Подключить библиотеку → Добавить .ZIP библиотеку».
- Укажите скачанный файл — библиотека появится в списке доступных.
SHA-256:a091428c695c35d5bc16ca605d3c02617ff9b4381d0646017ee31e2f45f96b89PicoLlama-1.1.0-a091428c.zipОписание
Запустить языковую модель LLAMA2 прямо на Pico2 с дополнительной памятью — без интернета и облака. Библиотека реализует полную инференсию нейросети на одном микроконтроллере, генерируя текст из локальных промптов. Модель хранится во флеше (до 16 МБ), а состояние вычислений размещается в SRAM и PSRAM, всё считается в формате FP32 с аппаратной поддержкой ARM-ядра RP2350. Требует плату с 16 МБ флеша и 8 МБ PSRAM — оригинальная Pico2 не подойдёт, а вот Pimoroni PGA2350 или совместимые платы будут работать. Примеры показывают как интерактивную генерацию текста, так и воспроизведение историй через BackgroundAudio. Инференция заметно медленнее, чем на полноценной железе, и требует несколько минут на загрузку 16-мегабайтного образа, но для встроенной LLM это работающее решение.