Добро пожаловать в открытое приложение к методу контролируемой деформации языковых моделей (E-CDP). Здесь собраны технические детали, протоколы, данные и инструменты для воспроизведения экспериментов и развития метода. Материалы обновляются по мере исследований.
Общее описание протокола E-CDP (статья).
UPDATE:
Техническая записка (Technical Note) с обновленным описанием протокола E-CDP.
Читать на русском. Read in English.
Оглавление:
- Техническая архитектура
- Валидация экспертных вопросов
- Пилотные проекты и иллюстративный пример
- Расчёт индексов и статистика
- Сравнение E‑CDP с другими подходами
- Контроль артефактов
- Корпус и синтетическое расширение
- Перспективы развития метода
- Глоссарий
- Вопросы и ответы
- Связаться с нами
/tech — Техническая архитектура и воспроизведение
Аппаратное обеспечение
Эксперименты проводятся на Apple Mac mini (M4, 24 ГБ unified memory).
Программное обеспечение
- Библиотека MLX (оптимизирована для M-чипов).
- QLoRA для эффективного дообучения.
Базовая модель
Qwen2.5-7B-Base. Выбор обоснован открытостью, поддержкой русского языка и совместимостью.
Параметры дообучения (QLoRA)
- Rank = 32, Alpha = 64
- Эпохи = 25 с ранней остановкой
- Learning Rate с прогревом, Weight Decay
Процедура изоморфной деформации
Для целевого концепта готовится эталонный текст. С помощью ИИ-ассистента генерируются деформированные версии, в которых ключевые термины заменяются псевдословами — грамматически согласованными, но семантически пустыми конструкциями.
Пример:
- Исходный тезис: «История всех до сих пор существовавших обществ была историей борьбы классов».
- Деформированный (противоречие): «Развитие всех до сих пор существовавших обществ шло независимо от истории классов».
- Изоморфная бессмыслица: «Капуста каждых до сих пор пролетевших утюгов являлась черникой люстры огурцов».
Генерация занимает секунды. Это рутинная автоматизированная операция, завершающаяся проверкой эксперта.
Код и автоматизация
Разрабатывается программный комплекс для пакетной генерации, дообучения и тестирования. Ссылка появится после первого релиза.
/valid_quest — Валидация экспертных вопросов
Качество измерительного протокола E-CDP напрямую зависит от качества экспертных вопросов. Ниже описан рекомендуемый шестиэтапный протокол валидации.
Этап 1. Формирование экспертной группы
Рекомендуемый размер: 5–7 экспертов. Группа должна быть гетерогенной (разные школы, институции) для снижения риска группового мышления.
Этап 2. Генерация первоначального пула
Формулируется 70–100 вопросов на основе анализа литературы и пилотного анализа корпуса. В перспективе мы планируем разработать инвариантное ядро вопросов, применимое к разным исследованиям (см. /roadmap).
Этап 3. Двухраундовая Дельфи-оценка
- Раунд 1: независимая оценка по шкалам «Релевантность», «Однозначность», «Отсутствие смещения» (7‑балльная шкала Лайкерта).
- Раунд 2: повторная оценка с анонимизированной обратной связью.
- Исключаются вопросы со средней оценкой ниже 5 баллов или с высоким неразрешённым разбросом (σ > 1.5).
Этап 4. Расчёт каппы Коэна
Для итоговой панели рассчитывается коэффициент согласованности κ. Порог включения: κ ≥ 0.70. Для особо тонких концептов возможно снижение порога до 0.60 с соответствующей оговоркой в публикации.
Этап 5. Пилотное тестирование на неэкспертах
Панель тестируется на репрезентативной группе для выявления скрытых смещений и неочевидных интерпретаций.
Этап 6. Процедура ослепления (blinding)
Эксперты не информируются о конкретной гипотезе эксперимента. Вопросы утверждаются до экспериментов и не корректируются постфактум.
Документирование
Все этапы валидации должны быть задокументированы: состав группы, оценки, значения κ, результаты пилотного тестирования.
/pilots — Пилотные проекты и иллюстративный пример
Текущий статус: первые эксперименты проведены в рамках препринта (Смирнов, 2026). Предварительный прозвон подтвердил работоспособность модели, однако полномасштабное сравнение требует значительных вычислительных ресурсов. Данные будут публиковаться здесь по мере готовности.
Иллюстративный пример (гипотетический, но построенный на реальной логике эксперимента):
См. раздел 3 статьи. Данные намеренно содержат шум и пересекающиеся интервалы, чтобы показать, как может выглядеть реальная картина до накопления статистики.
Планируемые проекты:
- Стадия сбора заявок (контактная форма ниже)
/metrics — Расчёт индексов и статистика
Определения ИСС, ИС, КСЗ даны в статье. Здесь — дополнительные рекомендации.
Пороговая интерпретация: до накопления репрезентативной выборки значимым предлагается считать расхождение ИСС и КСЗ более 10%, выходящее за пределы типичного шума.
Оценка неопределённости: рекомендуется использовать бутстрап по вопросам (≥1000 итераций) и сообщать 95% доверительный интервал. Эксперимент считается надёжным, если интервал не перекрывает нуль и интервалы сравниваемых концептов.
Множественные сравнения: при большом числе концептов желательно вводить поправки (например, Бонферрони).
/related_work — Сравнение E‑CDP с другими подходами
Метод E‑CDP возник не в вакууме. Существует несколько активно развивающихся направлений, позволяющих вмешиваться во внутренние представления языковых моделей. Здесь мы подробно сопоставляем их, чтобы подчеркнуть специфику нашего протокола.
1. Representation Engineering (RepE)
Предложен Zou et al. (2023). Фокусируется на выявлении и управлении векторами-представлениями во время инференса. Исследователи находят вектор, соответствующий концепту (например, «честность»), и усиливают или ослабляют его влияние. Это «регулятор громкости» для смысла, работающий без переобучения модели. Однако RepE манипулирует активациями поверхностно и не рассчитан на измерение системных последствий для всего семантического домена.
2. Causal Tracing и Model Editing
Методы типа Causal Tracing (Elhage et al., 2021; Vig et al., 2020) и ROME/MEMIT (Meng et al., 2022) используют причинно-следственный анализ для локализации весов, ответственных за конкретный факт или ассоциацию, и точечно редактируют их. Это «ювелирная хирургия» сети: замена одной детали без изменения общей структуры. Задача E‑CDP противоположна: нас интересует не замена единичного факта, а глобальный эффект от деформации концепта.
3. Concept Erasure
Методы, подобные LEACE (Belrose et al., 2023), полностью и линейно удаляют информацию о концепте из представлений модели. Они востребованы в задачах fairness, когда нужно устранить нежелательный признак (расу, пол). E‑CDP не удаляет концепт, а искажает его смысл, оставляя его «в игре», чтобы замерить связность с другими понятиями.
4. Interchange Interventions и Causal Proxy Models
Ближе всего к нашей логике стоят методы каузального абстрагирования (Geiger et al., 2021), которые подменяют активации на определённых слоях, чтобы проверить причинно-следственные связи. Однако они требуют сложного теоретико-множественного аппарата и обычно применяются к синтаксическим или фактологическим задачам. E‑CDP предлагает более простую и интерпретируемую для гуманитария процедуру, основанную на корпусной деформации и вопросно-ответном тестировании.
Сводная таблица отличий
| Характеристика | RepE | Causal Tracing / Model Editing | Concept Erasure | E‑CDP (наш метод) |
| Способ вмешательства | Управление векторами на инференсе | Прямое редактирование весов | Линейное удаление информации | Дообучение на искажённых текстах (LoRA) |
| Уровень | Активации (поверхностный) | Веса (глубокий, локализованный) | Представления (средний) | Семантический домен (глубокий, системный) |
| Цель | Контроль поведения | Исправление фактов | Удаление биасов | Измерение структурной значимости |
| Что измеряется | Изменение генерации | Успешность замены | Успешность удаления | Системный сдвиг точности на экспертных вопросах |
| Ключевое новшество | Линейные контроллеры | Локализация причинности | Линейная проекция | Изоморфная деформация текстов с псевдословами |
Таким образом, E‑CDP не заменяет существующие техники, а занимает свободную нишу: экспериментальная оценка связности культурных концептов в больших текстовых корпусах с помощью контролируемой деформации и измерительного протокола, доступного экспертам-гуманитариям.
Ссылки на литературу приведены в основном списке статьи.
/control — Контроль артефактов
Раздел в разработке. Здесь будет описан протокол контрольных экспериментов, позволяющих отделить реальный семантический сдвиг от артефактов: реакции на незнакомые токены, переобучения, out-of-distribution эффектов.
Планируемые процедуры:
- Деформация заведомо периферийного понятия (ожидаемый КСЗ близок к нулю).
- Замена целевых слов на нейтральные реальные слова без искажения смысла.
- Проверка восстановления точности после «реабилитационного» дообучения на исходном корпусе.
/corpus — Корпус и синтетическое расширение
Требования к корпусу
Минимальный объём: от 50 тыс. до 1 млн токенов. Корпус должен быть репрезентативен (разные жанры, авторы, периоды).
Синтетическое расширение
При нехватке материала применяется расширение с помощью нескольких LLM-генераторов до эквивалента ~1000 страниц.
- Используется минимум три разные модели-генератора.
- 20% синтетики проходит человеческую валидацию (κ ≥ 0.80).
- Включаются фрагменты реальных текстов для предотвращения model collapse.
Предотвращение утечки данных
Корпус разбивается на обучающую (80%), валидационную (10%) и тестовую (10%) части. Тестовые вопросы формулируются независимо и не пересекаются с обучающими подтемами.
/roadmap — Перспективы развития метода
Текущая версия: E-CDP v1.2.
Ближайшие шаги:
- Завершение полного цикла экспериментов по препринту, публикация данных.
- Разработка и публикация протокола контрольных тестов.
- Релиз библиотеки кода.
Среднесрочные планы:
- Увеличение пула вопросов до 500+, создание инструмента автоматической генерации.
- Переход к Full Fine-Tuning.
- Сетевой анализ многомерных сдвигов.
Инвариантное ядро вопросов: в текущих экспериментах обнаружена структурная схожесть вопросов. Мы разрабатываем нейросетевую надстройку для ускоренной генерации валидных вопросов. Экспертная валидация остаётся обязательной; полная автоматизация не планируется.
/glossary — Глоссарий
- LLM (Large Language Model) — большая языковая модель, обученная на текстовых данных.
- Латентное пространство — многомерное представление смыслов, формируемое моделью.
- LoRA — метод низкоранговой адаптации для быстрого дообучения.
- Псевдослова — семантически пустые, грамматически согласованные конструкции для изоморфной деформации.
- Accuracy (точность) — доля правильных ответов модели на вопросы.
- ИСС — индекс семантического сдвига.
- ИС — индекс стабильности.
- КСЗ — коэффициент структурной значимости.
- Каппа Коэна (κ) — мера согласованности экспертов.
- Дельфи-метод — итеративная процедура экспертной оценки.
/faq — Вопросы и ответы
[Формируется по мере поступления вопросов]
/contact — Связаться с нами
Открытая площадка
Мы рассматриваем данный сайт как живую платформу для накопления и обсуждения результатов. Присылайте свои вопросы, предложения и пилотные проекты — они будут включаться в общую базу знаний.
Контактное лицо
Смирнов Антон Юрьевич
АНО «Центр научных исследований в сфере профориентации и психологии труда»
smirnov@crcg.ru