Как создавать своё AI решение?

Мы время от времени приходим посоветоваться со специалистами по LLM.
Буду писать советы сюда!

Cоветы от Екатерины:

  • тут смотреть модельки https://lmstudio.ai
  • а тут можно вроде к своей модельке сделать API https://www.langchain.com (это если потом на основе своей модели работать)

Совет, кто нам будет нужен для работы со своей моделью: профи по ML-инжинирингу, знает обработку естественного языка, деплоил модели и хочет расти в отрасли (хочет от деплоя отходить и расти в сторону тренировки своих моделей

Советы от Паши:

  • работать с GPT пока, т.к.у этой модели лучше всего удержание контекста и понимание нюансов (опен-сорс решения ее пока не догнали)
  • добавить больше правил работы с помощью Retrieval. Потестировать разные варианты добавления файлов в связке с промптом
  • для сервисных задачек попробовать Introduction | 🦜️🔗 Langchain (например, для определения сути запроса и выдачи команды, для записи данных в базу и тд) - но это на попозже, т.к.надо разбираться

Другие неплохие AI, но по качеству все еще не GPT: возможно, со временем дорастут:
https://gemini.google.com/app

Заметки с конференции Generative AI, Free Speech, & Public Discourse
- с момента 1:08:30

Challenges for Conversational AI in the Era of LLM /
Dilek Hakkani-Tür, University of Illinois Urbana-Champaign


Charlie Mnemonic is the first personal assistant (LLM agent) equipped with Long-Term Memory (LTM) Releases · GoodAI/charlie-mnemonic · GitHub

Charlie doesn’t just memorize facts such as names, birthdays, or workplaces; it also learns instructions and skills. This means it can understand nuanced requests like writing emails differently to Anna than to John, fetching specific types of information, or managing smart home devices based on your preferences.

Envision LTM as an expandable, dynamic memory that captures and retains every detail, constantly enhancing its understanding and functionality.

What is inside:

  • The LLM powering Charlie is the OpenAI GPT-4 model, with the flexibility to switch to other LLMs in the future, including local models.
  • The LTM system, developed by GoodAI, stands at the core of Charlie’s advanced capabilities.

Возможно, полезное для нас: LTM dynamically integrates and updates memories Introducing GoodAI LTM Benchmark | GoodAI