Анон. А можешь посоветовать хороший, а главное бесплатный AI чат? Причем такой что бы он мог помнить контекст разговора. А не противоречить сам себе. Желательно что бы с ним можно было в ролевые игры поиграть (нет, не эротические). При этом что бы без цензуры что бы бот мог описывать всякие отрубания голов в битвах и смачные сцены допроса. В идеале что бы он мог отыгрывать перса с листа по правилам днд. А то онлайн чат боты которых я пробовал тупые до нельзя.
>>5326245Хм. Рикамендую просветиться, как LLM вообще работают - и понять, что в силу как технических - так и правовых ограничений - от цензуры ты полностью сможешь избавиться только если запустишь это на своём железе и для себя лично, да в идеале ещё и обучишь сам на выборке, которая тебе по нраву (есть RAT как альтернатива, но там свои заморочки, да и это всё равно надстройка над моделью, совсем капдинально она не изменит ситуацию) - а тот уровень хотелок, что ты высказал - потребует весьма неслабого железа - необхрдимые ресурсы (в первую очередь память) как минимум для GPT с ростом длины контекста растут квадратично. В общем - хочешь сделать хорошо - сделай сам. А онлайновые чаты - они сегодня есть - завтра нет, вынуждены цензурить себя, да и вообще смотрят на тебя как на товар.
>>5326245Хм. Рикамендую просветиться, как LLM вообще работают - и понять, что в силу как технических - так и правовых ограничений - от цензуры ты полностью сможешь избавиться только если запустишь это на своём железе и для себя лично, да в идеале ещё и обучишь сам на выборке, которая тебе по нраву (есть RAT как альтернатива, но там свои заморочки, да и это всё равно надстройка над моделью, совсем капдинально она не изменит ситуацию) - а тот уровень хотелок, что ты высказал - потребует весьма неслабого железа - необхрдимые ресурсы (в первую очередь память) как минимум для GPT с ростом длины контекста растут квадратично.
В общем - хочешь сделать хорошо - сделай сам. А онлайновые чаты - они сегодня есть - завтра нет, вынуждены цензурить себя, да и вообще смотрят на тебя как на товар.
>>5326249Какие есть варианты офлайн чатов? И можно ли их гипотетически обучить правилам днд?
>>5326255> вариантыПолный huggingface обученных моделей нескольких архитектур - если по быстрому потрогать - то можешь взять LM Studio как лаунчер - но это про готовые модели, не про обучение - зато запускается хоть на тостере - если у него достаточно памяти для модели, даже GPU не обязателен - хотя с ним быстрее и приятнее. Зависит от архитектуры и максимального размера контекста - но на 16Гб оперативки можно спокойно крутить 7B и почти всегда 13B LLAMA2-based модели с квантизацией 4 или даже 5, если с GPU - то можно и поболее, да даже дохлейшая 1050 с 3Гб памяти уже позволяет часть нагрузки перенести туда, и немного ускорить это всё. Конечно обучение - это совсем другой порядок величин, но даже так потрогав готовое - надеюсь ты лучше поймёшь что реально - а что нет. Ну и да, специально обученная конкретно для твоей задачи модель явно будет компактнее универсальной с сопоставимым качеством именно в этой области, так что полагаю полтерабайта оперативки тебе для неё не понадобится.> можно лиМожно. Загвоздка в датасете.
>>5326255
> варианты
Полный huggingface обученных моделей нескольких архитектур - если по быстрому потрогать - то можешь взять LM Studio как лаунчер - но это про готовые модели, не про обучение - зато запускается хоть на тостере - если у него достаточно памяти для модели, даже GPU не обязателен - хотя с ним быстрее и приятнее. Зависит от архитектуры и максимального размера контекста - но на 16Гб оперативки можно спокойно крутить 7B и почти всегда 13B LLAMA2-based модели с квантизацией 4 или даже 5, если с GPU - то можно и поболее, да даже дохлейшая 1050 с 3Гб памяти уже позволяет часть нагрузки перенести туда, и немного ускорить это всё.
Конечно обучение - это совсем другой порядок величин, но даже так потрогав готовое - надеюсь ты лучше поймёшь что реально - а что нет. Ну и да, специально обученная конкретно для твоей задачи модель явно будет компактнее универсальной с сопоставимым качеством именно в этой области, так что полагаю полтерабайта оперативки тебе для неё не понадобится.
> можно ли
Можно. Загвоздка в датасете.
>>5326255Вот это ковырял, всё работает. https://habr.com/ru/articles/728298/ Сам не разбирался глубоко, на момент выхода статьи попробовал и отложил в долгий ящик до апгрейда железа. На моём тостере генерация занимает минуты (бомжесборка на ксеоне и ДДР3 1800), поиграться можно, но в реальном времени работать не будет. Сетки качал с huggingface, alpaca и производные (там есть поиск по тегам и описания, всё должно быть понятно). Нужен инглиш, по-русски модели говорят, но, как мне показалось, плохо.С тех пор появилось ещё вот такое https://github.com/oobabooga/text-generation-webui, комбайн чуть посложнее, но и пофункциональнее, и даже модели сам качать и дообучать (!) умеет, если разобраться, как (я не разбирался).
>>5326299А вот по поводу обучения правилам ДнД - не думаю, если только у тебя нет специальных знаний (а ты бы не спрашивал, будь они у тебя) и денег на аренду небольшого вычислительного облака (дообучение требует больших ресурсов, несколько "видеокарт" х несколько дней). К тому же, сетку трудно научить считать. Но оно тебе и не надо. Можно научить писать "дарк фэнтези" с безнадёгой и жестокостью. Описать действия с точки зрения персонажа и сеттинга в рамках сформулированных словами правил - без кубов - готовая локальная сетка сможет. В принципе, можно поискать уже готовую модель/LORA или просто постараться сформулировать хороший промпт под дарк фэнтези. Если нет самоцели получить именно кровищу, жестокость и прочий экстремальный контент, то может сработать. Но контекст у неё не то, чтобы большой. Несколько абзацев текста.
>>5326301Сетку и не нужно учить считать - результаты подсчётов можно закидывать в промпт как RAT - уж в пределах одного поста она вряд ли пойдёт вразнос.
И некоторые модели умеют контекст до 64к токенов, это уже весьма прилично, особенно если на инглише, который токенизируется компактнее.
А есть возможность сделать чат ботов с несколькими личностями что бы они меж собой общались?
>>5326245Держи, нужна рега, но после на выбор есть пара-тройка бесплатных моделей: https://beta.theb.ai/
>>5327036По поводу цензуры - можно пропробовать обойти или смягчить:https://habr.com/ru/articles/736272/https://www.jailbreakchat.com/Те что в OpenSource ~ без цензуры пока "не достягивают" до закрытых.
>>5327036По поводу цензуры - можно пропробовать обойти или смягчить:https://habr.com/ru/articles/736272/https://www.jailbreakchat.com/
Те что в OpenSource ~ без цензуры пока "не достягивают" до закрытых.
ОП, если ты ещё тут - глянь вот на это.https://habr.com/ru/users/Cerberg/publications/articles/
>>5327503Хахаха, неужели мы дожили до бессовестного самопиара на ычане?Впрочем, вторая статья и правда выглядит как годный туториал, спасибо.
>>5327588> самопиараЕсли бы. У меня там и аккаунта-то нет, ибо раньше было слишком сложно - а теперь - ненужно.
>>5327588
> самопиара
Если бы. У меня там и аккаунта-то нет, ибо раньше было слишком сложно - а теперь - ненужно.
- wakaba + futaba + futallaby -
