Приложение Ollama, разработанное для локального запуска моделей искусственного интеллекта на ПК с операционными системами Windows, macOS и Linux, теперь поддерживает аппаратное ускорение на устройствах с процессорами семейства Apple M5.
В отличие от облачных сервисов, таких как ChatGPT, которые требуют постоянного интернет-соединения и не позволяют запускать модели локально, Ollama предлагает возможность загружать и использовать ИИ-модели непосредственно на домашних компьютерах. Открытые модели доступны на различных платформах или могут быть загружены напрямую от разработчиков.
Тем не менее, запуск моделей ИИ на локальных устройствах может быть сложной задачей, так как они требуют значительных ресурсов системной оперативной и видеопамяти. Для решения этой проблемы разработчики внедрили в обновление Ollama 0.19 поддержку фреймворка машинного обучения MLX и унифицированной архитектуры памяти, что значительно повысило скорость работы приложения на устройствах с чипами Apple.
Однако стоит отметить, что данная поддержка доступна только для новых процессоров Apple M5, M5 Pro и M5 Max. Ollama 0.19 использует нейроускорители на платформе, что сокращает время до первого токена и увеличивает общую скорость генерации токенов. Благодаря этому значительно улучшилась производительность как персональных ИИ-агентов, таких как OpenClaw, так и специализированных моделей, включая OpenCode, Anthropic Claude Code и OpenAI Codex. Важно помнить, что для работы приложения необходимо наличие не менее 32 Гбайт унифицированной памяти на компьютере.