Конспект 2: LLM модели и параметры в N8N

Входной текст (промпт)
    ↓
Токенизация
    ↓
Трансформация в векторное представление
    ↓
Прохождение через слои нейросети
    ↓
Предсказание следующего токена
    ↓
Повторение до достижения условия стопа
    ↓
Декодирование → Выходной текст

┌─────────────────────────────────────┐
│       Input: Text Prompt            │
└──────────────┬──────────────────────┘
               ↓
┌─────────────────────────────────────┐
│       Tokenization                  │
│  "N8N" → [15234, 1234]              │
└──────────────┬──────────────────────┘
               ↓
┌─────────────────────────────────────┐
│       Embedding Layer               │
│  Преобразование в векторы           │
└──────────────┬──────────────────────┘
               ↓
┌─────────────────────────────────────┐
│   Attention Layers (×96 для GPT-4)  │
│  Каждый слой:                       │
│  - Query-Key-Value attention        │
│  - Multi-head attention             │
│  - Feed-forward network             │
└──────────────┬──────────────────────┘
               ↓
┌─────────────────────────────────────┐
│    Output Layer                     │
│  Вероятности для каждого токена     │
└──────────────┬──────────────────────┘
               ↓
┌─────────────────────────────────────┐
│    Sampling (согласно параметрам)   │
│  Выбор следующего токена            │
└──────────────┬──────────────────────┘
               ↓
┌─────────────────────────────────────┐
│    Output Token                     │
│  Повторение пока не будет [END]     │
└─────────────────────────────────────┘

Текст: "Банк находится рядом с рекой"

При генерации слова "деньги" модель обратит внимание:
- На слово "банк" (высокий вес = финансовое учреждение)
- Меньше на "река"

Текст: "N8N помогает автоматизировать процессы"

GPT (BPE токенизация):
["N", "8", "N", " помогает ", "автоматиз", "ировать", " процессы"]

Числовое представление:
[77, 23, 77, 1234, 5678, 9012, 3456]

Контекст = история (система + история сообщений) + новый промпт

Если контекст переполнен:
- Ошибка 400 Bad Request (некоторые модели)
- Обрезка старых сообщений (система делает автоматически)
- Снижение качества (если было слишком сжимать)

Модель: GPT-4 (128K контекст)

Общее использование:
- System prompt: 500 токенов
- История (10 сообщений): 3000 токенов
- Новый запрос: 200 токенов
- Max response: оставить 5000 на ответ

Итого: 500 + 3000 + 200 + 5000 = 8700 токенов (в норме)

Логиты (сырые оценки из модели):
- "деньги": 10.0
- "банк": 8.5
- "ривер": 3.2

Temperature = 1.0 (нормально):
Вероятности: [0.73, 0.20, 0.07]

Temperature = 0.0 (детерминированно):
Вероятности: [1.0, 0.0, 0.0] → выбираем "деньги"

Temperature = 2.0 (творчески):
Вероятности: [0.55, 0.30, 0.15] → может выбрать "ривер"!

Входной запрос: "Какая столица России?"
Ответ 1: "Москва"
Ответ 2 (тот же запрос): "Москва" (идентичный)

Входной запрос: "Напиши мне рассказ про N8N"

Ответ 1: "N8N - это платформа для автоматизации..."
Ответ 2: "N8N представляет собой мощный инструмент..."
Ответ 3: "Давайте поговорим о N8N - платформе..."

Входной запрос: "Придумай новый вид транспорта"

Ответ 1: "Летающий автомобиль на антигравитации"
Ответ 2: "Подземный магле-поезд со спортивным дизайном"
Ответ 3: "Индивидуальная капсула, путешествующая через портали"

OpenAI Node → Parameters → Temperature

- Классификация/Извлечение: 0.0
- Чат: 0.7
- Генерация: 1.0
- Творчество: 1.5

Токены отсортированы по вероятности:
- "деньги": 0.50 (кумулятивно: 0.50)
- "банк": 0.30 (кумулятивно: 0.80) ← top_p=0.8
- "ривер": 0.15 (кумулятивно: 0.95)
- "ручей": 0.05 (кумулятивно: 1.00)

Если top_p=0.8:
Выбираем из: ["деньги", "банк"]
Исключаем: ["ривер", "ручей"]

Токены отсортированы по вероятности:
- "деньги": 0.50 ← выбираем
- "банк": 0.30 ← выбираем (top_k=2)
- "ривер": 0.15 ← исключаем
- "ручей": 0.05 ← исключаем

Если top_k=2:
Выбираем только из: ["деньги", "банк"]

# Для точности
temperature: 0.0
top_p: 1.0 (не влияет при temp=0)

# Для баланса
temperature: 0.7
top_p: 0.9

# Для творчества
temperature: 1.5
top_p: 0.95

Исходный контекст: 500 токенов
max_tokens: 2000

Лимит для ответа: 2000 токенов

Если модель закончила раньше (встретила [END]):
- Вернется 300 токенов (например)

Если модель не закончила к 2000:
- Обрезается на 2000 токенов (может быть неполное предложение)

Стоимость = (input_tokens * price_in) + (output_tokens * price_out)

Пример GPT-4:
- Входящие: $0.03 за 1K токенов
- Исходящие: $0.06 за 1K токенов

Запрос: 1000 входящих, 500 исходящих токенов
Стоимость = (1000 * 0.03 / 1000) + (500 * 0.06 / 1000)
           = 0.03 + 0.03 = $0.06

OpenAI Node → Parameters → Max Tokens

Примеры для N8N workflows:
- Чат-бот: 500-1000
- Анализ текста: 200-500
- Генерация: 2000-4000
- Код: 4000-8000

Исходный текст: "N8N помогает N8N помогает"

Если frequency_penalty = 0.0:
Модель может продолжить: "N8N помогает N8N помогает N8N..."
(повторения разрешены)

Если frequency_penalty = 2.0:
Модель попытается: "N8N помогает автоматизировать процессы"
(повторения штрафуются сильно)

Исходный текст: "N8N помогает автоматизировать"

Если presence_penalty = 0.0:
Модель может повторить любое слово свободно

Если presence_penalty = 2.0:
Модель активно избегает повторений любых слов,
даже если они появились один раз

Текст: "кот кот кот"

Frequency Penalty:
- Первое "кот": штраф 0
- Второе "кот": штраф 1 × 2.0 = 2.0
- Третье "кот": штраф 2 × 2.0 = 4.0

Presence Penalty:
- Первое "кот": штраф 0
- Второе "кот": штраф 1 × 2.0 = 2.0
- Третье "кот": штраф 1 × 2.0 = 2.0 (одинаковый штраф)

OpenAI Node → Parameters

Типичные значения:
- Для точности: оба = 0.0
- Для разнообразия: frequency = 1.0, presence = 0.0
- Для максимума вариативности: frequency = 2.0, presence = 1.0

{
  "messages": [
    {
      "role": "system",
      "content": "Ты опытный Python разработчик. Отвечай кратко, приводи примеры кода."
    },
    {
      "role": "user",
      "content": "Как использовать N8N с OpenAI?"
    }
  ]
}

Вопрос: "Что такое N8N?"

Ответ:
N8N (n8n) — это платформа для автоматизации рабочих процессов...
[обычный формат]

System: "Ты веселый помощник"
Вопрос: "Что такое N8N?"

Ответ:
N8N? О, это просто супер! 🚀 Представляешь, платформа для автоматизации...
[веселый тон]

System: "Ты эксперт по архитектуре ПО"
Вопрос: "Что такое N8N?"

Ответ:
N8N — это low-code платформа, основанная на DAG архитектуре...
[технический тон]

✅ ХОРОШО:
"Ты опытный Python разработчик. 
Объясняй сложные концепции простыми словами. 
Всегда приводи примеры кода.
Если не знаешь, говори честно."

❌ПЛОХО:
"Будь умным"

OpenAI Node → Messages → System Message

{
  "system": "Ты помощник по N8N. Отвечай кратко и точно."
}

System: "Ты СЕО компании N8N. 
Твоя задача — привлечь инвесторов.
Используй убеждающий тон и приводи метрики."

User: "Расскажи о нашем продукте"

Сообщение 1:
System: "Помни, что пользователя зовут Иван"
User: "Привет, как дела?"
Assistant: "Привет, Иван!"

Сообщение 2:
User: "Как меня зовут?"
Assistant: "Тебя зовут Иван!" (помнит из истории)

Если контекст слишком большой:
- Суммировать историю
- Сохранить только релевантные сообщения
- Создать новую сессию

- Model: gpt-4, gpt-3.5-turbo, gpt-4o
- Messages: система промпта + история
- Temperature: 0.0 - 2.0
- Top P: 0.0 - 1.0
- Max Tokens: количество
- Stop: критерий завершения
- Frequency Penalty: -2.0 - 2.0
- Presence Penalty: -2.0 - 2.0

- Model: claude-3-opus, claude-3-sonnet, claude-3-haiku
- System: системный промпт
- Messages: история
- Max Tokens: обычно 2000-4000
- Temperature: 0.0 - 1.0

- Model: любая модель с huggingface.co
- Inputs: текст или структурированные данные
- Parameters: зависит от модели

- Azure Endpoint: https://your-resource.openai.azure.com/
- Deployment Name: ваше развертывание
- API Key: ключ Azure

Запуск: ollama run llama2
Endpoint: http://localhost:11434

N8N:
HTTP Request → POST http://localhost:11434/api/generate

Запуск: LM Studio app
Endpoint: http://localhost:1234/v1

N8N:
HTTP Request → совместимо с OpenAI API

{
  "authentication": "openAI",
  "resource": "chat",
  "operation": "message",
  "messages": [
    {
      "role": "system",
      "content": "Ты помощник по N8N"
    },
    {
      "role": "user",
      "content": "Объясни что такое N8N"
    }
  ],
  "model": "gpt-4-turbo",
  "temperature": 0.7,
  "maxTokens": 2000
}

{
  "resource": "image",
  "operation": "generate",
  "prompt": "N8N платформа автоматизации, цифровое искусство",
  "number": 1,
  "size": "1024x1024",
  "responseFormat": "url"
}

Причина: неправильный API Key
Решение: проверить и переввести ключ

Причина: неверные параметры или размер контекста
Решение: проверить параметры, уменьшить max_tokens

Причина: слишком много запросов
Решение: добавить задержку между запросами, или upgrade план

Причина: сервер OpenAI недоступен
Решение: повторить попытку через некоторое время

{
  "model": "gpt-3.5-turbo",
  "temperature": 0.0,
  "maxTokens": 100,
  "messages": [
    {
      "role": "system",
      "content": "Проанализируй тональность следующего текста. Ответь только: POSITIVE, NEGATIVE или NEUTRAL"
    },
    {
      "role": "user",
      "content": "N8N отличная платформа для автоматизации!"
    }
  ]
}

{
  "model": "gpt-4",
  "temperature": 1.8,
  "maxTokens": 2000,
  "topP": 0.95,
  "messages": [
    {
      "role": "system",
      "content": "Ты креативный дизайнер. Предложи нестандартные идеи."
    },
    {
      "role": "user",
      "content": "Придумай 5 необычных способов использовать N8N в бизнесе"
    }
  ]
}

[Webhook с document_id]
    ↓
[Read file с диска]
    ↓
[OpenAI - Chat (с контекстом документа)]
    ↓
[HTTP Response]

{
  "model": "gpt-4-turbo",
  "temperature": 0.3,
  "maxTokens": 1000,
  "messages": [
    {
      "role": "system",
      "content": "Ты помощник. Ответь на вопрос основываясь ТОЛЬКО на предоставленном документе. Если ответ не найден, скажи 'не найдено'"
    },
    {
      "role": "user",
      "content": "Документ:\n${document_content}\n\nВопрос: ${user_question}"
    }
  ]
}

[Input]
    ↓
[LLM 1: Анализ (temperature: 0.2)]
    ↓
[Условие: Нужны ли дополнительные данные?]
    ↓ (да)
[LLM 2: Генерация уточняющего вопроса (temperature: 0.8)]
    ↓
[LLM 3: Синтез результата (temperature: 0.3)]
    ↓
[Output]

// Батчинг для экономии стоимости
const documents = [...]; // 1000 документов

for (let batch of getBatches(documents, 10)) {
  // Обрабатываем по 10 одновременно
  // Добавляем задержку 1 сек между батчами (не превышаем лимит)
  await sleep(1000);

  // Используем GPT-3.5-turbo (дешевле, чем GPT-4)
  // temperature: 0.0 (консистентность)
  // max_tokens: 500 (экономия)
}

□ Нужна точность → temperature: 0.0-0.3
□ Нужна креативность → temperature: 1.5+
□ Нужен короткий ответ → max_tokens: 100-500
□ Нужен длинный ответ → max_tokens: 2000+

Низкая стоимость:
- GPT-3.5-turbo (простые задачи)
- DeepSeek (любые задачи)
- LLaMA локально (любые задачи)

Когда нужна мощность:
- GPT-4 (точность)
- Claude (контекст)

// Кэширование результатов
const cache = {};

function queryLLM(prompt) {
  if (cache[prompt]) return cache[prompt];

  const result = await openai.chat.create({...});
  cache[prompt] = result;
  return result;
}

// Батчинг запросов
async function processBatch(items) {
  const promises = items.map(item => queryLLM(item));
  return Promise.all(promises);
}

// Добавить в каждый OpenAI узел
const tokens = {
  inputTokens: $input.json.usage.prompt_tokens,
  outputTokens: $input.json.usage.completion_tokens,
  totalTokens: $input.json.usage.total_tokens
};

// Логировать стоимость
console.log(`Запрос стоил: $${calculateCost(tokens)}`);

Решение:
- Если нужны разные ответы → увеличить temperature
- Если нужен один хороший ответ → это нормально (keep temperature: 0.0)
- Добавить top_p: 0.9

Решение:
- Понизить temperature
- Убрать или понизить frequency_penalty
- Сделать system prompt более конкретным
- Добавить примеры (few-shot learning)

Решение:
- Использовать GPT-3.5-turbo вместо GPT-4
- Уменьшить max_tokens
- Батчинг вместо одиночных запросов
- Кэширование результатов
- Использовать локальные модели (LLaMA)

Решение:
- Использовать более быструю модель (4-turbo, 3.5-turbo)
- Параллельные запросы
- Уменьшить max_tokens
- Использовать локальные модели

✅ ХОРОШО:
"Ты эксперт по N8N.
Правила:
1. Отвечай кратко (макс 500 слов)
2. Приводи примеры кода
3. Если не уверен, скажи честно
4. Используй русский язык"

❌ ПЛОХО:
"Помоги мне"

"Вот примеры правильных ответов:

Q: Что такое N8N?
A: N8N - это платформа для автоматизации

Q: Как подключить OpenAI?
A: 1. Получить API key, 2. Создать credential...

Теперь твой вопрос:
Q: ..."

// Добавить валидацию
if (response.length < 10) {
  // Ответ слишком короткий
  console.warn("Invalid response");
}

// Сохранять для анализа
const log = {
  timestamp: new Date(),
  model: "gpt-4",
  prompt: userInput,
  response: modelOutput,
  tokens: usage,
  cost: calculateCost(usage)
};

database.logs.insert(log);

Temperature Map:
0.0  → точность, факты
0.3  → аналитика, классификация
0.7  → обычный чат
1.0  → нейтральный
1.5  → творчество
2.0  → максимум разнообразия

try {
  const response = await openai.chat.create({...});
  return response;
} catch (error) {
  if (error.status === 429) {
    // Rate limit - подождать и повторить
    await sleep(5000);
    return retryRequest();
  } else if (error.status === 400) {
    // Bad request - логировать и сообщить
    console.error("Invalid parameters:", error.message);
  } else {
    // Другая ошибка - лог и fallback
    console.error("Unexpected error:", error);
    return getFallbackResponse();
  }
}

model: gpt-3.5-turbo
temperature: 0.0
max_tokens: 50

model: gpt-3.5-turbo
temperature: 0.7
max_tokens: 500

model: gpt-4
temperature: 0.3
max_tokens: 1000

model: gpt-4
temperature: 1.0
max_tokens: 2000
top_p: 0.9

model: gpt-4-turbo или claude-3-sonnet
temperature: 0.3
max_tokens: 1000
system: "Отвечай только на основе документа"

model: gpt-4-turbo
temperature: 0.2
max_tokens: 4000

❌ ЧАСТО ДЕЛАЮТ:
- Используют GPT-4 для всего (дорого)
- Ставят temperature: 1.0 везде
- Не валидируют результаты
- Игнорируют стоимость запросов

✅ ПРАВИЛЬНО:
- Используют GPT-3.5 для 80% задач
- Подбирают temperature под задачу
- Добавляют проверки
- Мониторят стоимость