MEASUREMENT

bench/testing/pytest_examples.py

The script that produced the numbers in the article, and the record of the run. The file is read from the repository at build time — this is the code that was run, not a copy of it.

Cited in

/en/interview/python/unit-testing

How to run it

python3.11 bench/testing/basics.py
python3.12 bench/testing/basics.py
python3.13 bench/testing/basics.py
python3.14 bench/testing/basics.py

python3.13 -m venv .venv-pytest
.venv-pytest/bin/pip install pytest==8.4.2
.venv-pytest/bin/python bench/testing/pytest_run.py
.venv-pytest/bin/python bench/testing/checkout_run.py

python3.11 bench/testing/practice.py
python3.12 bench/testing/practice.py
python3.13 bench/testing/practice.py
python3.14 bench/testing/practice.py

The run below is recorded in Russian. It is a lab record, kept in the language it was written in; the numbers, the tables and the code read the same either way.

Record of the run

Замеры для урока «Тестирование»

Скрипт	Что делает
`basics.py`	наблюдения на стандартной библиотеке: FAIL против ERROR, Mock и его поля, опечатки в именах проверок, где патчить, Mock против `create_autospec`, порядок тестов и `setUp`, таблица Mock / `spec` / `spec_set` / autospec (раздел 7)
`pytest_run.py`	запускает `pytest_examples.py` под pytest и печатает вывод без времени и путей: разложенный `assert`, `parametrize`, фикстура с `yield`, `pytest.raises`, исключение в теле теста (FAILED) и упавшая фикстура (ERROR)
`pytest_examples.py`	примеры тестов pytest; четыре не проходят нарочно — три FAILED и один ERROR. Назван не `test_*.py`, чтобы pytest не подхватывал его сам
`checkout.py`, `test_checkout.py`	полный зелёный пример урока: рабочий код и тесты к нему (результат — главное утверждение, вызов mock — дополнительное; `parametrize`, фикстура). Запуск — `python -m pytest -v` в каталоге с обоими файлами
`checkout_run.py`	копирует оба файла в пустой каталог, запускает `python -m pytest`, затем портит копию тремя способами и запускает снова
`practice.py`	источник ответов двух практических задач урока

python3.11 bench/testing/basics.py
python3.12 bench/testing/basics.py
python3.13 bench/testing/basics.py
python3.14 bench/testing/basics.py

python3.13 -m venv .venv-pytest
.venv-pytest/bin/pip install pytest==8.4.2
.venv-pytest/bin/python bench/testing/pytest_run.py
.venv-pytest/bin/python bench/testing/checkout_run.py

python3.11 bench/testing/practice.py
python3.12 bench/testing/practice.py
python3.13 bench/testing/practice.py
python3.14 bench/testing/practice.py

Записи в runs/: без суффикса — CPython 3.13.7, остальные — с суффиксом версии (3.11.15, 3.12.3, 3.14.7); pytest_run.txt и checkout_run.txt — CPython 3.13.7 и pytest 8.4.2; всё — linux/amd64. basics*.txt перезапущены 14.10.2026 после добавления раздела 7 — разделы 1–6 не изменились.

Что получилось

FAIL против ERROR: assertEqual(add(2, 2), 5) — FAIL, голый assert — тоже FAIL (AssertionError), add(2, "2") — ERROR с TypeError; итого тестов 4, failures 2, errors 1.

pytest: 9 тестов — 3 failed, 5 passed, 1 error. Исключение в теле теста (test_type_error) — FAILED, упавшая фикстура (test_with_broken_fixture) — ERROR; тесты идут в порядке файла.

Практика: Mock(return_value=10), вызванный как m(1) и m(2), — 10 10 2 и call(2); в TestCase с пятью тестами setUp вызван 5 раз.

Опечатки в проверках (mock ни разу не вызывали): asert_called_once и assret_called_once — AttributeError на всех версиях; called_once — на 3.11 проходит молча, с 3.12 — AttributeError; was_called_once — молча на всех версиях.

Где патчить: под patch('time.time') модуль с import time видит подмену, модуль с from time import time — нет; patch('app_from.time') подменяет.

Спецификация: голый Mock принял charge(100) без валюты и метод chrage; create_autospec ответил TypeError: missing a required argument: 'currency' и AttributeError.

Порядок: объявлены test_zebra, test_apple, test_mango — выполнены apple, mango, zebra; setUpClass — 1 раз, setUp — 3.

Остальные строки вывода одинаковы на 3.11–3.14.

Mock / spec / spec_set / autospec (раздел 7, добавлен 14.10.2026 по внешнему аудиту, замечание PY-TEST-01; одинаково на 3.11–3.14). Несуществующее имя m.chrage: голый Mock — принято, остальные три — AttributeError. Присваивание m.extra = 1: AttributeError только у spec_set (и у create_autospec(..., spec_set=True)). Вызов m.charge(100) без валюты: Mock(), Mock(spec=…) и Mock(spec_set=…) — принято, create_autospec — TypeError: missing a required argument: 'currency'. m.was_called_once(): голый Mock — принято, со спецификацией любого вида — AttributeError.

Полный пример (checkout_run.txt): как есть — 4 passed. Дефект «скидка прибавляется» — 1 failed (assert 130 == 70). Дефект «charge без валюты»: с фикстурой на create_autospec — 4 failed (TypeError), с фикстурой на Mock(spec=PaymentClient) — 1 failed, 3 passed: тесты, проверяющие только результат, дефект не видят, его ловит лишь assert_called_once_with.

Script

59 lines

"""Примеры тестов pytest для урока «Тестирование».

Файл назван не test_*.py нарочно: pytest не подхватит его сам, а четыре теста
здесь падают специально — ради текста, который pytest печатает при падении.
Запускает его pytest_run.py.
"""
import pytest


def add(a, b):
    return a + b


# ── assert без методов: pytest сам раскладывает выражение ────────────────
def test_plain_assert():
    result = add(2, 2)
    assert result == 5


# ── parametrize: один тест — несколько наборов данных ────────────────────
@pytest.mark.parametrize(
    "a, b, expected",
    [(1, 2, 3), (0, 0, 0), (-1, 1, 0), (2, 2, 5)],
)
def test_add_cases(a, b, expected):
    assert add(a, b) == expected


# ── фикстура: подготовка и уборка вокруг теста ───────────────────────────
@pytest.fixture
def resource():
    print("\n   [фикстура] подготовка")
    yield {"connected": True}
    print("   [фикстура] уборка")


def test_uses_fixture(resource):
    assert resource["connected"]


# ── pytest.raises: ожидаемое исключение — это успех ──────────────────────
def test_raises():
    with pytest.raises(TypeError):
        add(1, "1")


# ── исключение в теле теста и сбой фикстуры: FAILED против ERROR ────────
def test_type_error():
    add(1, "1")


@pytest.fixture
def broken():
    raise RuntimeError("фикстура не поднялась")


def test_with_broken_fixture(broken):
    assert broken