Deep Engineering

ЗАМЕР

bench/valkey-cluster/databases.py

Скрипт, которым получены числа в статье, и запись прогона. Файл читается на сборке из репозитория — это тот самый код, который запускали, а не его копия.

Цитируется в статье
/ru/system-design/caching/valkey-clustering
Как запустить
python3 bench/valkey-cluster/discovery.py   # блоки 1-4
python3 bench/valkey-cluster/apidiff.py     # блоки 5-7
python3 bench/valkey-cluster/failover.py    # блоки 8-10
python3 bench/valkey-cluster/notready.py    # блоки 11-12
python3 bench/valkey-cluster/quorum.py      # блок 13
python3 bench/valkey-cluster/databases.py   # блоки 14-16
python3 bench/valkey-cluster/boundaries.py  # блоки 17-19

Запись прогона

Замеры для статьи «Два способа собрать Valkey из нескольких узлов»

Файл Что делает
common.py подъём узлов в обоих режимах, разговор с ними, печать блоков. Общий модуль, сам ничего не печатает
discovery.py как клиент находит узел: MOVED против SENTINEL get-master-addr-by-name, и что клиент делает на самом деле — блоки 1–4
apidiff.py какие команды в кластере перестают работать и почему — блоки 5–7
failover.py отказ мастера в обоих режимах глазами клиента, и что бывает, когда старый мастер возвращается — блоки 8–10
notready.py окно между «кластер собран» и «кластер переживёт отказ» — блоки 11–12
quorum.py кворум против большинства: почему одно число не заменяет другое — блок 13
databases.py нумерованные базы в кластере: два кластера с разным cluster-databases — блоки 14–16
boundaries.py три утверждения статьи, проверенные на границах — блоки 17–19
python3 bench/valkey-cluster/discovery.py   # блоки 1-4
python3 bench/valkey-cluster/apidiff.py     # блоки 5-7
python3 bench/valkey-cluster/failover.py    # блоки 8-10
python3 bench/valkey-cluster/notready.py    # блоки 11-12
python3 bench/valkey-cluster/quorum.py      # блок 13
python3 bench/valkey-cluster/databases.py   # блоки 14-16
python3 bench/valkey-cluster/boundaries.py  # блоки 17-19

Нужен собранный Valkey — путь к нему берётся из VALKEY_BIN (по умолчанию /usr/local/valkey912/bin). Узлы поднимаются во временных каталогах на случайных портах и убиваются в finally; после себя скрипты не оставляют ни процессов, ни файлов. Весь набор идёт около шести минут: переключений надо дождаться несколько раз, и торопить их нечем.

Откуда здесь Valkey 9.1.2

В системных пакетах лежит 7.2.13 — ветка, к которой половина того, что стоит писать про кластер, уже не относится. Обычный путь за свежей версией закрыт: dl.google.com и сайт проекта недоступны из этой среды. Зато доступен GitHub, а Valkey собирается из исходников одной командой:

git clone --depth 1 --branch 9.1.2 https://github.com/valkey-io/valkey.git /tmp/valkey912
cd /tmp/valkey912 && make -j2 BUILD_TLS=no
install -D /tmp/valkey912/src/valkey-{server,cli,benchmark} -t /usr/local/valkey912/bin

Отдельного двоичного файла для sentinel нет и не нужно: это тот же valkey-server, запущенный с конфигом и флагом --sentinel. Свойство, а не деталь сборки, — и в блоке 7 видно, чем режимы при этом отличаются.

Что здесь важно прочитать правильно

Абсолютные секунды не переносятся никуда. Узел считается упавшим через секунду молчания (down-after-milliseconds 1000) вместо тридцати по умолчанию, а cluster-node-timeout стоит 2000 мс вместо 15 000. Это сделано ровно затем, чтобы набор укладывался в минуты. Содержательны порядок событий, текст ответов сервера и знак разницы — но не число секунд.

Порты выбираются ниже 55535, и это не придирка. Узел кластера слушает два порта: обычный и шинный, ровно на десять тысяч больше. Порт из эфемерного диапазона даёт шинный порт больше 65535, и узел не поднимается вовсе.

Опрос идёт «глупым» клиентом. Везде, где печатается ответ сервера, он снят через valkey-cli без флага -c. Библиотека-клиент прячет ровно то, что здесь интересно: сама ходит за картой слотов, сама повторяет запрос, сама спрашивает sentinel. Настоящие клиентские библиотеки используются только в блоках 3 и 4 — там вопрос как раз в том, что делает клиент, и считают это сами узлы.

Что получилось

Как клиент находит узел

нативный кластер Sentinel
кто знает топологию каждый узел данных отдельная служба
что клиент спрашивает любой узел, обычной командой SENTINEL get-master-addr-by-name
как узнаёт про чужой ключ MOVED 12182 127.0.0.1:43425 никак: вопрос не к узлу
что нужно в конфиге клиента один живой адрес узла адреса sentinel и имя набора

В блоке 3 видно, что клиент кластера, получив ОДИН адрес из шести, сходил за CLUSTER SLOTS и дальше писал напрямую нужному узлу. В блоке 4 порядок обратный: сначала вопрос службе, потом команда данным.

Что ломается в кластере из привычного

команда в кластере под sentinel
MSET foo 1 bar 2 CROSSSLOT Keys in request don't hash to the same slot OK
MSET {u}:a 1 {u}:b 2 работает: общая скобка кладёт ключи в один слот OK
SELECT 1 ERR DB index is out of rangeно см. ниже OK
SWAPDB 0 1 ERR SWAPDB is not allowed in cluster mode OK

Две формы отказа различаются не случайно: SWAPDB запрещён как таковой, а SELECT 1 — выход за границу. За какую именно границу, блок 6 сам по себе не говорит, и на этом первая версия статьи ошиблась.

Нумерованные базы: настройка, а не режим

Из SELECT 1 → ERR DB index is out of range в первой версии был сделан вывод «в кластере база ровно одна». Это правило Redis и Valkey до 9.0; в Valkey 9.0 нумерованные базы в кластере появились, а их число задаёт неизменяемая настройка cluster-databases со значением по умолчанию 1. Блоки 14–16 поднимают два кластера, отличающихся ровно этой строкой:

кластер А кластер Б
cluster-databases 1 16
SELECT 1 ERR DB index is out of range OK
SELECT 15 ERR DB index is out of range OK
SELECT 16 ERR DB index is out of range ERR DB index is out of range

Номер базы в адресацию не входит: один ключ в базах 0 и 1 держит разные значения при одном слоте 12182. А вот чего базы не дают — общего на кластер представления о себе: DBSIZE и SCAN считают только ту часть базы, что лежит на узле, куда пришла команда, SWAPDB остаётся запрещён.

Границы трёх утверждений

Блоки 17–19 перемеряют места, где статья сказала шире измеренного: «никогда» из блока 12 снимается настройкой cluster-replica-validity-factor 0 (реплика повышается за четыре секунды, но пустой); границу кворума и большинства заранее показывает SENTINEL CKQUORUM; узел под sentinel знает не «ничего», а свою пару репликации — не знает он только авторитетного ответа службы.

Отказ мастера

нативный кластер Sentinel
кто замечает сами узлы, по шине отдельные наблюдатели
кто решает большинство мастеров большинство sentinel
что получает клиент в этот момент CLUSTERDOWN, потом MOVED на новый адрес молчание старого адреса
как клиент узнаёт новый адрес из ответа любого живого узла только спросив sentinel
вернувшийся старый мастер сразу реплика, отдаёт MOVED мастер на 10 с, принимает записи

Последняя строка — самое опасное место режима Sentinel и содержание блока 10. Вернувшийся узел поднимается мастером, отвечает OK на записи, а после перевода в реплику полная синхронизация их стирает. Клиент при этом не видит ни одной ошибки.

Два состояния готовности

Блоки 11 и 12 — про находку, ради которой стоило ронять узлы вручную. Между «слоты розданы» (cluster_state:ok) и «есть кому повышаться» (master_link_status:up у реплик) прошло 6,07 секунды. Мастер, упавший внутри этого окна, не заменяется НИКОГДА: у реплики, ни разу не подключавшейся, отметка «когда упал канал» осталась нулевой, возраст её данных считается от начала эпохи Unix, и она отказывается повышаться:

Currently unable to failover: Disconnected from primary for longer than
allowed. Please check the 'cluster-replica-validity-factor' configuration
option.

Условие видно в исходнике (src/cluster_legacy.c):

if (server.repl_state == REPL_STATE_CONNECTED) {
    data_age = (mstime_t)(server.unixtime - server.primary->last_interaction) * 1000;
} else {
    data_age = (mstime_t)(server.unixtime - server.repl_down_since) * 1000;
}

Практический вывод про эксплуатацию: «кластер поднялся» и «кластер держит отказ» — разные проверки, и вторая смотрит на master_link_status каждой реплики.

Кворум и большинство

Пять sentinel, кворум 2, погашены три. Кворум выполнен — и переключения всё равно нет:

+odown master cache 127.0.0.1 48147 #quorum 2/2
+try-failover master cache 127.0.0.1 48147
+vote-for-leader c92cd70b21a9dd26ec40e67185371e78ee502f9a 1
-failover-abort-not-elected master cache 127.0.0.1 48147

Стоило поднять одного из погашенных — большинство появилось, и переключение состоялось за две секунды. Кворум при этом не менялся вовсе.

Источники

Скрипт

191 строк
"""Нумерованные базы в кластере: версия Valkey меняет ответ — блоки 14-16.

ОТКУДА ВЗЯЛСЯ ЭТОТ СКРИПТ. Из ошибки в первой версии статьи. Там стояло
«в кластере база ровно одна», и подтверждалось это ответом сервера:

    SELECT 1  →  ERR DB index is out of range

Ответ настоящий, вывод неверный. Это правило Redis и Valkey до 9.0; в Valkey
9.0 появились нумерованные базы в кластере, а число их задаёт отдельная
настройка `cluster-databases` со значением по умолчанию 1. То есть замер
показывал не отсутствие возможности, а НАСТРОЙКУ ПО УМОЛЧАНИЮ — и отличить
одно от другого можно было только вторым опытом, которого не было.

ЧТО ЗДЕСЬ ПРОВЕРЯЕТСЯ. Два кластера, отличающиеся ровно одной строкой конфига,
и три вопроса к ним: сколько баз доступно, зависит ли слот от номера базы, и
какие ограничения никуда не делись. Третий вопрос важен не меньше первых двух:
из «базы появились» легко сделать обратный миф — будто в кластере они ведут
себя как в одиночном узле.

ПОЧЕМУ `cluster-databases` НЕЛЬЗЯ ПОМЕНЯТЬ НА ЛЕТУ. В исходнике настройка
объявлена IMMUTABLE_CONFIG (`src/config.c`), поэтому оба кластера поднимаются
отдельно, а не перенастраиваются.

ЗАПУСК: python3 bench/valkey-cluster/databases.py
"""

from __future__ import annotations

import time

from common import Cluster, cli, free_port, head, note, preamble, row

PAD = 40


def owner_of(ports: list[int], key: str) -> int:
    """Узел, которому принадлежит слот ключа."""
    answer = cli(ports[0], "set", key, "probe")
    if answer.startswith("MOVED"):
        return int(answer.split()[-1].split(":")[1])
    return ports[0]


def spin(cluster: Cluster, databases: int) -> list[int]:
    """Поднять кластер из трёх мастеров с заданным числом баз."""
    ports = [free_port() for _ in range(3)]
    for p in ports:
        cluster.start_data(p, cluster=True, extra=["--cluster-databases", str(databases)])
    cluster.form_cluster_raw(ports, replicas=0)
    deadline = time.time() + 60
    from common import cluster_state
    while time.time() < deadline:
        if all(cluster_state(p) == "ok" for p in ports):
            break
        time.sleep(0.2)
    return ports


def block14(default_ports: list[int], many_ports: list[int]) -> None:
    head(14, "СКОЛЬКО БАЗ В КЛАСТЕРЕ, РЕШАЕТ НАСТРОЙКА, А НЕ РЕЖИМ")

    d_owner = owner_of(default_ports, "foo")
    m_owner = owner_of(many_ports, "foo")

    row("кластер А: cluster-databases",
        cli(default_ports[0], "config", "get", "cluster-databases").split()[-1], pad=PAD)
    row("кластер Б: cluster-databases",
        cli(many_ports[0], "config", "get", "cluster-databases").split()[-1], pad=PAD)
    print()
    for label, port in (("кластер А (по умолчанию)", d_owner), ("кластер Б (16 баз)", m_owner)):
        row(f"{label}: SELECT 0", cli(port, "select", "0"), pad=PAD)
        row(f"{label}: SELECT 1", cli(port, "select", "1"), pad=PAD)
        row(f"{label}: SELECT 15", cli(port, "select", "15"), pad=PAD)
        row(f"{label}: SELECT 16", cli(port, "select", "16"), pad=PAD)
        print()

    note(
        """
        Два кластера отличаются одной строкой конфига, и ответы на одну и ту
        же команду у них разные. Значит, `ERR DB index is out of range` в
        кластере А — не «в кластере баз не бывает», а «в ЭТОМ кластере база
        настроена одна».

        Разница между этими двумя прочтениями и есть содержание блока. Первое
        — правило Redis и Valkey до 9.0, и оно до сих пор кочует по статьям.
        Второе — то, что на самом деле происходит на Valkey 9.

        Обратите внимание и на то, что НЕ изменилось: значение по умолчанию
        осталось единицей. Кластер, поднятый обычным способом, ведёт себя
        по-старому, и именно поэтому старое правило так долго выглядит
        верным.
        """
    )


def block15(many_ports: list[int]) -> None:
    head(15, "НОМЕР БАЗЫ НЕ УЧАСТВУЕТ В ВЫЧИСЛЕНИИ СЛОТА")

    owner = owner_of(many_ports, "foo")

    row("узел-владелец слота ключа foo", f"127.0.0.1:{owner}", pad=PAD)
    print()
    row("в базе 0: SET foo db0", cli(owner, "-n", "0", "set", "foo", "db0"), pad=PAD)
    row("в базе 1: SET foo db1", cli(owner, "-n", "1", "set", "foo", "db1"), pad=PAD)
    print()
    row("в базе 0: GET foo", cli(owner, "-n", "0", "get", "foo"), pad=PAD)
    row("в базе 1: GET foo", cli(owner, "-n", "1", "get", "foo"), pad=PAD)
    print()
    row("в базе 0: CLUSTER KEYSLOT foo", cli(owner, "-n", "0", "cluster", "keyslot", "foo"), pad=PAD)
    row("в базе 1: CLUSTER KEYSLOT foo", cli(owner, "-n", "1", "cluster", "keyslot", "foo"), pad=PAD)

    note(
        """
        Один ключ, два значения, один слот. Это и есть модель данных Valkey 9:
        адресация по-прежнему двухшаговая — ключ в слот, слот в узел, — а база
        добавляется ТРЕТЬИМ измерением уже внутри узла и на выбор узла не
        влияет вовсе.

        Практическое следствие приятное: разнести окружения по базам в
        кластере можно, и раскладка данных по узлам от этого не изменится ни
        на ключ. Практическое следствие неприятное — в следующем блоке.
        """
    )


def block16(many_ports: list[int]) -> None:
    head(16, "ЧТО НЕ ИЗМЕНИЛОСЬ: ЗАПРЕТЫ И ГРАНИЦА ВИДИМОСТИ")

    owner = owner_of(many_ports, "foo")
    other = [p for p in many_ports if p != owner]

    row("SWAPDB 0 1", cli(owner, "swapdb", "0", "1"), pad=PAD)
    print()
    # Ключи раскладываются по РАЗНЫМ слотам нарочно: вопрос блока — что видит
    # команда, выполняемая на одном узле, когда данные лежат на трёх.
    for key, value in (("foo", "1"), ("bar", "2"), ("user:1", "3")):
        for port in many_ports:
            if not cli(port, "-n", "1", "set", key, value).startswith("MOVED"):
                break
    print("  в базе 1 записаны три ключа, разошедшиеся по трём узлам:")
    for key in ("foo", "bar", "user:1"):
        row(f"    CLUSTER KEYSLOT {key}", cli(owner, "cluster", "keyslot", key), pad=PAD)
    print()
    print("  что отвечает DBSIZE в базе 1 на каждом узле:")
    for port in many_ports:
        row(f"    узел {port}", cli(port, "-n", "1", "dbsize"), pad=PAD)
    print()
    row("SCAN в базе 1 на узле-владельце", " ".join(cli(owner, "-n", "1", "scan", "0").split()), pad=PAD)
    if other:
        row(f"SCAN в базе 1 на узле {other[0]}",
            " ".join(cli(other[0], "-n", "1", "scan", "0").split()), pad=PAD)

    note(
        """
        Три вещи разом, и все три — против обратного мифа «раз базы появились,
        они работают как в одиночном узле».

        Первое: SWAPDB как был запрещён, так и остался, и текст отказа прямо
        называет причину — режим. Обменять базы на одном шарде значило бы
        рассогласовать его с остальными.

        Второе и главное: DBSIZE и SCAN считают не базу целиком, а её часть НА
        ТОМ УЗЛЕ, куда пришла команда. Три ключа записаны в одну базу и
        разошлись по трём узлам — и ни один узел не видит всех трёх. То же
        касается FLUSHDB.

        Отсюда правило, которое стоит унести: нумерованная база в кластере —
        это пространство имён, а не отдельное хранилище. Она не даёт ни
        изоляции ресурсов, ни общего на кластер представления о своём
        содержимом.
        """
    )


def main() -> None:
    preamble("два кластера, отличающиеся одной строкой конфига: cluster-databases 1 и 16")

    cluster = Cluster()
    try:
        default_ports = spin(cluster, 1)
        many_ports = spin(cluster, 16)
        block14(default_ports, many_ports)
        block15(many_ports)
        block16(many_ports)
    finally:
        cluster.stop_all()


if __name__ == "__main__":
    main()