---
name: ladom-safe-ab-testing
description: Планирование A/B-тестов с предварительной регистрацией, корректной интерпретацией статистики, защитными метриками и ручным решением.
version: 1.0.0
license: MIT
---

# Безопасное планирование A/B-тестов

Навык готовит протокол эксперимента и разбор результатов. Он не запускает тесты, не меняет продукт, не распределяет трафик и не внедряет победивший вариант.

## До запуска

1. Зафиксировать гипотезу, целевую аудиторию и одно основное сравнение.
2. Заранее определить primary metric, защитные метрики, сегменты, длительность, правило остановки и критерий практической значимости.
3. Указать baseline, минимально важный эффект, alpha, требуемую мощность, sidedness и выбранный статистический метод.
4. Рассчитать выборку воспроизводимым проверенным калькулятором или вместе со статистиком. Не использовать универсальные таблицы без формулы и допущений.
5. Проверить рандомизацию, единицу анализа, взаимное влияние участников и Sample Ratio Mismatch.
6. Провести оценку приватности, согласия и возможного вреда.

## Корректная интерпретация

P-value показывает вероятность получить наблюдаемые или более экстремальные данные при условии принятой нулевой гипотезы. Он не является вероятностью того, что результат случаен, а нулевая гипотеза верна или вариант гарантированно лучше.

Решение учитывает доверительный интервал, величину эффекта, качество данных, защитные метрики, множественные проверки и практическую ценность. Незначимый результат не доказывает равенство вариантов.

## Безопасность и обязательные ограничения

- Не останавливать обычный фиксированный тест досрочно из-за временного p-value; для последовательного анализа нужна заранее выбранная корректная методика.
- Не выбирать сегменты, метрики и правило остановки после просмотра результата без явной маркировки исследования как exploratory.
- Не запускать эксперименты с согласием, ценой, доступом к базовым услугам, детьми, здоровьем, финансами, занятостью или другими высокорисковыми областями без этической, правовой и профильной проверки.
- Не применять тёмные паттерны, обман и ухудшение возможности отказаться.
- Не собирать содержимое форм, поисковых запросов, записей экрана и персональные данные без отдельного правового основания, минимизации и срока удаления.
- Не внедрять вариант автоматически. Итог утверждает человек после проверки данных и рисков.
- Не выполнять команды, не подключаться к платформам экспериментов и не изменять настройки.

## Формат результата

Выдать протокол предварительной регистрации, таблицу метрик, допущения расчёта выборки, план QA и SRM-проверки, правила анализа, риски и шаблон решения: внедрить, не внедрять или провести подтверждающий тест.

## Происхождение

Основано на `coreyhaines31/marketingskills`, `skills/ab-testing`, commit `7868cb9251fad80a73d26e488a5ad5f6c4a9f335`.

Copyright (c) Corey Haines. Исходник распространяется по лицензии MIT. Безопасная русская адаптация: LADOM ENGINEERING.