На днях несколько раз заходил разговор о теме, пора написать пост. Сейчас это уже сложно вспомнить, но год назад в мире не было никакого ChatGPT. Стартапы, специализирующиеся на автогенерации маркетинговых текстов, ещё не знали, что скоро им предстоит бесславно умереть. Первое время после релиза ChatGPT казалось, что скоро мы окажемся в том киберпанке, где обучать мощные ИИ модели могут только крупные корпорации, и даже для того чтобы запустить их, нужно потратить на железо стоимость квартиры в Москве. В нашей вселенной опенсорс нанёс ответный удар, и мы оказались в другом киберпанке, который, несмотря ни на что, нравится мне гораздо больше.
Поэтому сегодня я локально запускаю открытую семигигабайтную модель аля ChatGPT на своём ноутбуке, не отправляя никому ни байта информации о наших диалогах. Модель конечно почти не говорит на русском, и в целом туповата, где-то на уровне первых версий ChatGPT, но и этого уже более чем хватает чтобы побрейнштормить, в качестве продвинутой уточки, или для коррекции важных текстов на английском. Ссылка тут:
https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GPTQ , запуск требует навыка поставить пакеты и запустить код python.
Ещё радикальнее опенсорс прошёлся по картинкам. Ни для кого не секрет, что такое stable diffusion, но только недавно я узнал, что этой штукой можно удобно пользоваться не через тысячу и один сайт с бесконечными очередями и лимитами на количество генераций, а прямо у себя на компе (правда только с нормальной видеокартой, у меня например без проблем работает обычная диффузия, а XL уже не влезает). Штука (
https://github.com/AUTOMATIC1111/stable-diffusion-webui) не требует знания программирования вообще, ставится на все операционные системы, и открывается в браузере. Там реализованны тонны полезной функциональности, придуманной исследователями: простая генерация по промптам, по контурам, инпейнтинг, апсемплинг, и даже локальное обучение
дипфейков новых концепций в нейросети. (Несмотря на то что обмануть быстрообученными дипфейками себя мне никого не удалось, все из вежливости признали их высокое качество.) Особенно полезна в хозяйстве функция инпейнтинга - попросить нейросеть перерисовать определенную часть картинки, выделенную мышкой. Как и в любой генерации, в инпейнтинге можно использовать промпты, например, если нейросеть перерисовывает волосы, то можно явно сказать ей: пусть новые волосы будут, например, рыжими. Также инпейнтинг делает очень удобной генерацию картинок: если определенная часть картинки не нравится, то можно сразу отправить картинку во вкладку инпейнтинга, выделить эту часть мышкой, и просить перегенерировать до тех пор, пока не получится что-то нормальное. (Нормальные руки часто не получаются долго...) Тысячи моделей и стилей (embeddings, LoRA, hypernetworks) под это качаются из интернета (бОльшая часть из них конечно про раздетых анимешных девочек, но не только; на
https://civitai.com/ например неплохая коллекция). (Да, важный момент: для инпейнтинга лучше использовать специальную модель, а не ту что для генерации; часто однако обе модели обучают на одном датасете и выкладывают рядом, тогда их лучше всего использовать вместе.) А вообще в интернете опять же сотни рецептов про то, как разные функции этого приложения использовать.
Также на всякий случай уточню, что не проводил аудит безопасности обоих инструментов, описанных выше, но по внешним признакам они мне кажутся нормальными.
На этом свой долг по просвещению публики считаю выполненным, присылайте фидбек и арты в комменты (простите за потраченные недели вашей жизни, если что), а я пошёл есть мандарины. Всем нейродобра!
