Приложение Ollama, разработанное для локального запуска моделей искусственного интеллекта на различных операционных системах, таких как Windows, macOS и Linux, обновилось и теперь поддерживает аппаратное ускорение на процессорах Apple M5.
В отличие от облачных решений, таких как ChatGPT, которые требуют постоянного интернет-соединения, Ollama позволяет пользователям загружать и запускать модели ИИ прямо на своих домашних компьютерах. Открытые модели, доступные на платформах сообществ или напрямую от разработчиков, можно свободно загружать и использовать.
Однако запуск таких моделей на локальных машинах может быть сложной задачей из-за высоких требований к системной и видеопамяти. В новой версии Ollama 0.19 разработчики внедрили поддержку фреймворка машинного обучения MLX от Apple и унифицированной архитектуры памяти. Это значительно увеличило скорость работы приложения на системах с чипами Apple M5.
На данный момент обновение касается только последних моделей чипов Apple M5, M5 Pro и M5 Max. Ollama 0.19 использует нейроускорители, что сокращает время до первого токена и увеличивает общую скорость генерации токенов. Благодаря этому стали быстрее работать как персональные ИИ-агенты, такие как OpenClaw, так и специализированные инструменты, включая OpenCode, Anthropic Claude Code и OpenAI Codex. Важно отметить, что для использования приложения требуется как минимум 32 Гбайт унифицированной памяти на компьютере.