Арасака КАИ-7

У меня валялся графический процессор, и я хотел заняться местными LLM. Целью разработки было создание малогабаритной, энергоэффективной установки искусственного интеллекта из того, что у меня в основном валялось дома.

Результат: мини-ПК в стиле киберпанка, который запускает 7B языковых моделей параметров с ускорением графического процессора и генерирует около 48 токенов в секунду.

Печать

Детали спроектированы таки�� образом, чтобы требовать как можно меньше поддержки. Вам нужно будет распечатать:

1 блок питания спереди

1x блок питания сзади

1x кронштейн RPI5

1 этикетка (Арасака) — необязательно, вы также можете использовать «Этикет (пустая)» и разместить на ней любой дизайн, который захотите.

Я рекомендую печатать из материала, который не деформируется при более высоких температурах — я выбрал PETG. Все детали ориентированы так, как они должны быть напечатаны. В поддержке нуждается только «PSU Back» (я использовал ручную поддержку дерева в Orca Slicer, нарисованную только на свесе 90 градусов).

Для этикетки: печать в двух цветах, MMU не требуется. Просто поменяйте нить на том слое, где буквы начинают выдавливаться.

Сборка

Сборка проста:

Корпус блока питания. Прикрутите переднюю и заднюю части блока питания к HDPlex. Прикрутите розетку к задней части. Внутри достаточно места для проводки — просто убедитесь, что ориентация вилки соответствует вашим предпочтениям. Соответствующие винты входят в комплект поставки HDPlex.

Монтаж Pi. Прикрепите RPi 5 к кронштейну и прикрепите PCIe HAT. Я использовал винты M2,5x10 мм через кронштейн. Стойки, поставляемые в комплекте с PCIe HAT, работают нормально, но входящие в комплект винты имеют головки большего размера — я рекомендую приобрести винты с головками меньшего размера.

Графический процессор — вставьте графический процессор в слот PCIe и установите кронштейн PCIe в задней части блока питания. Возможно, потребуется некоторое покачивание. Дайте мне знать, если вам не удастся подогнать его по размеру — я легко могу отрегулировать эту часть.

Этикетка — вставьте на место. Можно закрепить клеем, но мне это не показалось необходимым. Если оставить его свободным, вы сможете менять дизайны.

Проводка. Подключите 8-контактный кабель к графическому процессору. Один 4-контактный кабель ЦП на 12 В подключается к PCIe HAT. Для питания 5 В Pi я подключил линию 5 В от кабеля питания SATA и подключил ее к контактам GPIO 5 В Pi. Если хотите, вы также можете подключить его через USB-C (менее чисто, но работает). Если вы делаете втулки по индивидуальному заказу, вы знаете, как это сделать.

Программное обеспечение — см. ниже.

Список запчастей

Raspberry Pi 5 (рекомендуется 8 ГБ ОЗУ)

Активный охладитель (лучше перестраховаться, чем потом сожалеть)

Карта MicroSD (рекомендуется 256 ГБ+, класс 10/A1)

Шляпа PCIe для сосновых плат

HDPlex GaN блок питания мощностью 250 Вт

Графический процессор AMD на ваш выбор — я использую Asus RX 5600 XT. Любая карта, поддерживаемая драйвером amdgpu с открытым исходным кодом, работает. Должно быть AMD — на момент написания карты NVIDIA не имеют полной поддержки драйверов RPi 5.

4 винта M3x8 мм

4 винта M2,5x10 мм

Кабели, втулки и заглушки (дополнительно — HDPlex поставляется со всей необходимой проводкой)

Программное обеспечение

Для программного стека я создал R.O.A.S.T. (Radeon On ARM, Serving Tokens) — скрипт установки и менеджер моделей, который все обрабатывает автоматически:

Устанавливает ядро с поддержкой amdgpu.

Собирает llama.cpp с помощью серверной части Vulkan.

Управляет моделями как сервисами systemd.

При необходимости настраивает Open WebUI для интерфейса чата.

Однострочная установка на новую RPi OS Trixie Lite:

wget -qO- https://raw.githubusercontent.com/stylesuxx/roast/master/install.sh | судо баш

См. R.O.A.S.T. репозиторий с полной документацией, руководством по выбору графического процессора и интеграцией с инструментами кодирования, такими как Aider и Continue.

Отказ от ответственности

Очевидно, я не обладаю никакими правами на собственность Киберпанка. CDPR — пожалуйста, не подавайте на меня в суд. Это просто фанатская работа, я люблю Киберпанк...