👨💻
Я уже не пишу сюда когда очередная опенсорсная модель бьет все метрики и приближается к GPT4, потому что этот рейтинг меняется буквально каждую неделю (и вы быстро устанете от моих восторгов), но одна новая модель мне сильно понравилась — она подойдет для программистов и тех кто учится:
CodeQwen1.5-7B-Chat (
gguf)
Модель небольшая, всего 7B параметров, но она сейчас находится
на втором месте по качеству генерации кода среди всех опенсорсных моделей.
CodeQwen1.5-7B все еще хуже GPT4, но она:
1) Классно пишет код для небольших задач, этот код можно с ней же дебажить;
2) Работает на любом тостере;
3) Поддерживает 32K контекстного окна (то есть вы можете как часть промпта скармливать свой код и с ней его анализировать);
4) Очень быстрая из-за того что маленькая;
5) Поддерживает все эти прелести опенсорсных моделей, такие как негативный промпт, Lora и тп.
Если вы давно хотели поставить что-то локальное, а ChatGPT вам нельзя использовать из-за корпоративной политики, очень рекомендую рассмотреть.
В Видео CodeQwen1.5 сначала пишет код для HTML страницы с эффектом из матрицы (скорость реальная на моем ноуте), а во втором видео —
эффект и код, что получился.
P.S. Маленькие модели наиболее подвержены правильному промптингу, поэтому
делюсь своим промптом агента программиста и
негативным промптом который вы можете передать с
--cfg-negative-prompt
(негативный промпт не обязателен, но помгает улучшить качество — насколько, я не замерял пока что).
P.P.S. Запуская я все классически тут —
llama.cpp
👩💻👩💻👩💻
Ko'proq ko'rsatish ...