Локальные LLM: как запустить на своём компьютере и какую модель выбрать

Локальные LLM у меня работают на обычном MacBook Pro M1 Pro с 16 ГБ памяти и на сервере. На Маке стоят четыре модели Qwen. Одна из них отвечает на вопросы по моим приватным видеозаписям, которые я не хочу отправлять в облако. На сервере крутится модель эмбеддингов bge-m3: она считает векторы для общей памяти моих ИИ-агентов.

Ниже расскажу, как запустить локальную LLM за десять минут, какую локальную LLM-модель выбрать под ваш компьютер и где она на деле проигрывает облачной. Цифры в таблице я снял сам 24.10.2026 на своём Маке.

Что такое локальная LLM и зачем она нужна

Локальная LLM, или локальная нейросеть, это языковая модель, которая работает целиком на вашем компьютере. Запросы никуда не уходят, интернет после скачивания модели не нужен, платить за токены не надо.

Зачем это нужно на практике:

• Приватные данные. Записи созвонов, документы клиентов, личные заметки. Всё это я обрабатываю локально, чтобы текст не покидал машину.
• Много мелких однотипных задач. Классификация, извлечение полей, эмбеддинги для поиска. Облако на таком объёме стоит денег, а локальной модели хватает.
• Работа без сети в поезде, в самолёте или когда облачный сервис лёг.

Писать код и сложные тексты локальной модели я не доверяю. Для этого у меня облачные Claude и GPT, разницу в качестве видно сразу. У Qwen есть отдельные модели для кода, Qwen2.5-Coder и Qwen3-Coder, но локально я их не пробовал.

Как запустить локальную LLM через Ollama

Самый короткий путь это Ollama. Программа скачивает модели, держит их в памяти и даёт API, совместимый с OpenAI. На этом API работают почти все агенты и редакторы кода.

Установка

Mac. Скачайте приложение с ollama.com/download или поставьте через Homebrew, как у меня:

brew install ollama
ollama serve

ollama serve запускает сервер на 127.0.0.1:11434 и занимает окно терминала, поэтому команды ollama run дальше выполняйте в соседнем окне. Приложение Ollama запускает тот же сервер само при старте системы.

Windows. Установщик с того же сайта. После установки команда ollama доступна в PowerShell.

Linux. Одна команда из документации:

curl -fsSL https://ollama.com/install.sh | sh

Первая модель

ollama run qwen3.5:4b

Так проще всего скачать Qwen: Ollama загрузит модель (3,3 ГБ) и откроет чат прямо в терминале. Выход: /bye.

Полезные команды:

ollama list    # какие модели скачаны
ollama ps      # какие сейчас в памяти и сколько занимают
ollama rm qwen3.5:4b   # удалить модель

В колонке PROCESSOR команды ollama ps видно, где работает модель. 100% GPU значит, что модель целиком в видеопамяти. Обычно так она отвечает быстрее всего. 100% CPU или смесь CPU и GPU значит, что модель целиком или частично загружена в обычную оперативную память, а там она обычно отвечает медленнее. Частая причина в нехватке видеопамяти, но процессор используется и тогда, когда Ollama не нашла подходящую видеокарту.

Запрос через API

Так к модели обращаются скрипты и агенты:

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5:4b",
  "messages": [{"role": "user", "content": "Привет"}],
  "stream": false
}'

Для программ, которые умеют работать только с OpenAI, есть адрес http://localhost:11434/v1. Суффикс /v1 обязателен: без него OpenAI-клиент получает 404 page not found. На этом я однажды потерял полчаса, когда подключал эмбеддинги к серверу памяти агентов.

Мои замеры: четыре модели Qwen на M1 Pro 16 ГБ

Условия: MacBook Pro M1 Pro, 16 ГБ, Ollama 0.40.4, квантизация Q4_K_M. Один и тот же вопрос: «Объясни в 5 предложениях, что такое контекстное окно у языковой модели», температура 0, контекст 4096 токенов. Перед каждой моделью предыдущая выгружалась из памяти.

| Модель | На диске | В видеопамяти | Генерация | Время ответа | |---|---|---|---|---| | qwen3.5:9b, с размышлением | 6,6 ГБ | 6,2 ГБ | 21 токен/с | 60 с | | qwen3.5:9b, без размышления | 6,6 ГБ | 6,2 ГБ | 21 токен/с | 15 с | | qwen2.5:7b | 4,7 ГБ | 4,8 ГБ | 25 токенов/с | 9 с | | qwen3-vl:4b-instruct | 3,3 ГБ | 3,8 ГБ | 40 токенов/с | 10 с | | qwen3-vl:4b, с размышлением | 3,3 ГБ | 3,8 ГБ | 39 токенов/с | 33 с |

«В видеопамяти» это сколько модель заняла в памяти видеочипа по данным Ollama (size_vram), без учёта памяти самой программы. «Время ответа» считается от отправки запроса до последнего токена, включая загрузку модели. Ответы разной длины: модели с размышлением писали в разы больше токенов.

Это один вопрос, а не бенчмарк. Порядок цифр он показывает честно. Что я из него вынес:

Режим размышления съедает время. qwen3.5:9b на пять предложений потратил 1032 токена и минуту. Почти всё это скрытые рассуждения, сам ответ около 130 токенов. С выключенным размышлением ответ пришёл за 15 секунд. Для коротких задач размышление лучше отключать. В API это поле "think": false, в терминале флаг ollama run qwen3.5:9b --think=false. Слушаются не все модели: qwen3.5:9b флаг выполнил, а qwen3-vl:4b всё равно начал рассуждать.

Маленькая модель уверенно ошибается. Qwen 2.5 7B (qwen2.5:7b) объяснил ограничение окна только экономией ресурсов. Это правда, но не всё: окно ограничено ещё и тем, на какой длине текста модель обучали и какое окно задано в настройках. qwen3-vl:4b из поколения Qwen 3 назвал размер окна GPT-4 «16K или 32K», это цифры 2023 года. Лучший ответ дал qwen3.5:9b. Фактам от моделей 4–9B без проверки я не верю.

Скорость на M1 Pro комфортная. 20–40 токенов в секунду это быстрее, чем вы читаете. Загрузка модели в память занимает 4–9 секунд, потом модель висит в памяти пять минут и отвечает сразу.

Какую локальную LLM выбрать под свой компьютер

Выбор упирается в память. Быстрее всего модель обычно работает, когда целиком помещается в видеопамять или, на Маке, в общую память, и ещё остаётся место системе и браузеру. Ориентиры по семейству Qwen 3.5 в квантизации Q4 с сайта Ollama:

• 8 ГБ: qwen3.5:2b (2,7 ГБ) или qwen3.5:4b (3,3 ГБ). Подойдёт для черновиков, классификации, простых вопросов.
• 16 ГБ: qwen3.5:9b (6,6 ГБ). Это мой основной вариант: заметно умнее 4B, а память остаётся на работу.
• 32 ГБ: qwen3.5:27b (17 ГБ). Qwen 3.5 27B уже серьёзная модель для длинных текстов.
• 64 ГБ и больше: qwen3.5:35b (22 ГБ) и модели крупнее.

На Windows и Linux считайте объём видеокарты. Если модель туда не влезла, Ollama допишет остаток в обычную оперативку, и генерация заметно замедлится.

Почему именно нейросеть Qwen: семейство хорошо говорит по-русски, есть все размеры от 0,8B до 122B, а новые версии понимают и картинки. Лучшей локальной LLM на все случаи нет, поэтому скачайте две модели Qwen соседних размеров и задайте им ваши реальные вопросы. Через полчаса будет понятно, какая из двух вам подходит.

Есть и другие семейства моделей и программы для запуска вроде LM Studio. Я их здесь не разбираю, потому что сам ими не пользуюсь.

Контекст: тихо обрезает длинные документы

В моём запуске на M1 Pro 16 ГБ Ollama по умолчанию давала модели окно в 4096 токенов. По документации Ollama, 4096 ставится при видеопамяти меньше 24 ГБ, 32 тысячи при 24–48 ГБ и 256 тысяч от 48 ГБ. На машинах с большим объёмом видеопамяти значение по умолчанию бывает больше, так что размер окна на своём компьютере лучше не угадывать, а задать явно. Если подать больше, чем вмещает окно, начало молча обрежется, а модель ответит, как будто видела всё.

Окно увеличивается параметром num_ctx в поле options запроса или переменной при запуске сервера. Если сервер уже работает (запущено приложение или ollama serve в другом окне), сначала остановите его, иначе новый не займёт порт:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

За окно платят памятью. На qwen3.5:9b переход с 4 тысяч на 32 тысячи токенов поднял расход видеопамяти с 6,2 до 6,7 ГБ, а скорость генерации не изменилась (21 токен/с, ответ за 13 секунд). На 16 ГБ это терпимо, на 8 ГБ уже нет.

Как я использую локальные модели на деле

Поиск по приватным видео

У меня есть записи обучения, которые нельзя выкладывать и отправлять в облачные модели. Я распознал их в текст, это 8529 фрагментов речи из пяти записей, и сложил в локальную базу SQLite с полнотекстовым поиском. На вопрос скрипт находит подходящие фрагменты, а локальная модель 7B собирает из них ответ.

Главное правило в этой схеме: модель отвечает только буквальной цитатой из найденного фрагмента с таймкодом. Каждый ответ проверяется, есть ли эта цитата в источнике. На пяти пробных вопросах три ответа прошли проверку. Два отклонены, и в одном модель выдумала историю про трудоустройство, которой в записях не было. Без такой проверки 7B-модели верить нельзя: она с той же уверенностью отвечает и по записям, и из головы.

Модель я специально не дообучал. Поиск плюс цитата дают ответ, который можно проверить по таймкоду, и при каждом новом видео достаточно добавить фрагменты в базу. Дообучение тоже можно совместить с поиском и проверкой цитат, но для моей задачи это лишняя работа без выигрыша.

Эмбеддинги для памяти агентов

Мои ИИ-агенты ведут общую память на сервере, о ней я писал в статье про контекст агента. Чтобы искать в этой памяти по смыслу, каждый кусок текста превращается в вектор из 1024 чисел. Это делает модель bge-m3 через ту же Ollama:

ollama pull bge-m3

Модель весит 1,2 ГБ и работает на том же сервере, где лежит память. Платный ключ OpenAI под эмбеддинги я так и не купил: локальная модель справляется, а приватные документы при этом не уходят с сервера.

Частые проблемы

could not connect to ollama server. Сервер не запущен. Откройте приложение Ollama или выполните ollama serve в отдельном окне терминала.

Модель отвечает очень медленно. Посмотрите ollama ps. Если там не 100% GPU, модель целиком или частично работает на процессоре. Часто это значит, что ей не хватило видеопамяти: возьмите размер поменьше или закройте тяжёлые программы. Если и небольшая модель остаётся на CPU, проверьте, видит ли Ollama вашу видеокарту.

Модель «забыла» начало документа. Возможно, документ не поместился в контекстное окно. В моём запуске по умолчанию было 4096 токенов, на вашей машине значение может отличаться. Задайте нужный размер через num_ctx и повторите запрос.

Программа не видит Ollama по OpenAI API. Проверьте суффикс /v1 в адресе: http://localhost:11434/v1.

Модель долго «думает» над простым вопросом. Отключите размышление: "think": false в API или флаг --think=false у ollama run.

Итог

Если у вас Mac на Apple Silicon с 16 ГБ или видеокарта на 8 ГБ, начните с ollama run qwen3.5:9b или qwen3.5:4b. Для приватных данных, эмбеддингов и мелких массовых задач этого хватает. Для кода и текстов, где цена ошибки высокая, я оставляю облачные модели, а ответы локальной всегда сверяю с источником.

Если хотите подключить локальную модель к ИИ-агенту, в статье про установку Hermes Agent есть раздел о выборе модели. Учтите только, что агенту нужен контекст от 64 тысяч токенов, а это заметно больше памяти, чем в моей таблице.