p-value показывает вероятность получить такие или более выраженные различия, если на самом деле их нет. Не «вероятность, что гипотеза верна», а «вероятность такого результата при отсутствии эффекта». Малое p-value (обычно < 0.05) означает, что данные плохо согласуются с гипотезой об отсутствии различий.

p-value мало — не значит «эффект большой». На больших выборках даже ничтожное различие становится статистически значимым. Поэтому всегда смотрите на размер эффекта (Cohen's d, r, Cramer's V) и доверительный интервал.

Проверяйте условия теста. t-тест требует нормальности и равенства дисперсий. Если они нарушены — используйте Уэлч или Mann-Whitney. Критерий Стьюдента на малых выборках с выбросами даёт обманчиво значимые результаты.

Двусторонние vs односторонние. В этом инструменте используются двусторонние p-value — стандарт медицинских публикаций. Односторонний тест даёт меньшее p, но требует обоснования в статье.

Доверительный интервал информативнее p-value: он показывает не только «есть ли эффект», но и «насколько он может быть велик». Если 95% ДИ для разности средних — от 0.5 до 12.4, эффект может быть и крошечным, и очень заметным.

Этот калькулятор — помощник, а не замена статистику и не медицинское заключение. Для публикации в серьёзном журнале или диссертации проговорите выводы с научным руководителем.