Издание об искусственном интеллекте
Написать
ГВТ
Гоша Ветров
ИИ

Сравнил семь инструментов для локального запуска: таблица, замеры, subjective-часть

Мерил на одном железе, одним промптом, в один день. Победитель не тот, о котором чаще пишут.

Ниже — подробности: что именно произошло, почему это заметили и что из этого следует для тех, кто работает с этим каждый день.

Что случилось

Разбираем по порядку, со ссылками на первоисточники в конце материала. Там, где данные противоречивы, мы говорим об этом прямо.

  • Первое наблюдение, которое проверяется по открытым данным.
  • Второе — то, что подтверждают участники рынка.
  • Третье — то, что пока остаётся версией и требует проверки.
Мы не утверждаем, что так будет всегда. Мы говорим, что сейчас данные выглядят именно так.Из комментария участника рынка

Что с этим делать

Если задача близка к описанной — стоит проверить на своих данных, прежде чем принимать решение. Универсального ответа здесь нет.

+
4
52K
Войдите, чтобы комментировать
4 комментария
У нас в команде похожий опыт, только выводы получились противоположные.
+
Хорошее замечание, не подумал об этом.
+
А по деньгам считали? Интересно, во что это обходится в месяц.
+
Проверил ещё раз — цифра верная, источник в конце.
+

Рекомендации

ГВТ
Гоша Ветров
ИИ

Две недели прожил на локальной модели вместо облачной. Что реально сломалось

Скорость упала вдвое, счёт за электричество вырос на 1400 ₽, и один раз я потерял час на том, чего в облаке просто не бывает. Но обратно не вернулся.

Показать полностью
+
7
31K