ЗАМЕР
bench/valkey-cluster/databases.py
Скрипт, которым получены числа в статье, и запись прогона. Файл читается на сборке из репозитория — это тот самый код, который запускали, а не его копия.
- Цитируется в статье
- /ru/system-design/caching/valkey-clustering
- Как запустить
python3 bench/valkey-cluster/discovery.py # блоки 1-4 python3 bench/valkey-cluster/apidiff.py # блоки 5-7 python3 bench/valkey-cluster/failover.py # блоки 8-10 python3 bench/valkey-cluster/notready.py # блоки 11-12 python3 bench/valkey-cluster/quorum.py # блок 13 python3 bench/valkey-cluster/databases.py # блоки 14-16 python3 bench/valkey-cluster/boundaries.py # блоки 17-19
Запись прогона
Замеры для статьи «Два способа собрать Valkey из нескольких узлов»
| Файл | Что делает |
|---|---|
common.py |
подъём узлов в обоих режимах, разговор с ними, печать блоков. Общий модуль, сам ничего не печатает |
discovery.py |
как клиент находит узел: MOVED против SENTINEL get-master-addr-by-name, и что клиент делает на самом деле — блоки 1–4 |
apidiff.py |
какие команды в кластере перестают работать и почему — блоки 5–7 |
failover.py |
отказ мастера в обоих режимах глазами клиента, и что бывает, когда старый мастер возвращается — блоки 8–10 |
notready.py |
окно между «кластер собран» и «кластер переживёт отказ» — блоки 11–12 |
quorum.py |
кворум против большинства: почему одно число не заменяет другое — блок 13 |
databases.py |
нумерованные базы в кластере: два кластера с разным cluster-databases — блоки 14–16 |
boundaries.py |
три утверждения статьи, проверенные на границах — блоки 17–19 |
python3 bench/valkey-cluster/discovery.py # блоки 1-4
python3 bench/valkey-cluster/apidiff.py # блоки 5-7
python3 bench/valkey-cluster/failover.py # блоки 8-10
python3 bench/valkey-cluster/notready.py # блоки 11-12
python3 bench/valkey-cluster/quorum.py # блок 13
python3 bench/valkey-cluster/databases.py # блоки 14-16
python3 bench/valkey-cluster/boundaries.py # блоки 17-19
Нужен собранный Valkey — путь к нему берётся из VALKEY_BIN (по умолчанию
/usr/local/valkey912/bin). Узлы поднимаются во временных каталогах на
случайных портах и убиваются в finally; после себя скрипты не оставляют ни
процессов, ни файлов. Весь набор идёт около шести минут: переключений надо
дождаться несколько раз, и торопить их нечем.
Откуда здесь Valkey 9.1.2
В системных пакетах лежит 7.2.13 — ветка, к которой половина того, что стоит
писать про кластер, уже не относится. Обычный путь за свежей версией закрыт:
dl.google.com и сайт проекта недоступны из этой среды. Зато доступен GitHub, а
Valkey собирается из исходников одной командой:
git clone --depth 1 --branch 9.1.2 https://github.com/valkey-io/valkey.git /tmp/valkey912
cd /tmp/valkey912 && make -j2 BUILD_TLS=no
install -D /tmp/valkey912/src/valkey-{server,cli,benchmark} -t /usr/local/valkey912/bin
Отдельного двоичного файла для sentinel нет и не нужно: это тот же
valkey-server, запущенный с конфигом и флагом --sentinel. Свойство, а не
деталь сборки, — и в блоке 7 видно, чем режимы при этом отличаются.
Что здесь важно прочитать правильно
Абсолютные секунды не переносятся никуда. Узел считается упавшим через
секунду молчания (down-after-milliseconds 1000) вместо тридцати по умолчанию,
а cluster-node-timeout стоит 2000 мс вместо 15 000. Это сделано ровно затем,
чтобы набор укладывался в минуты. Содержательны порядок событий, текст ответов
сервера и знак разницы — но не число секунд.
Порты выбираются ниже 55535, и это не придирка. Узел кластера слушает два порта: обычный и шинный, ровно на десять тысяч больше. Порт из эфемерного диапазона даёт шинный порт больше 65535, и узел не поднимается вовсе.
Опрос идёт «глупым» клиентом. Везде, где печатается ответ сервера, он снят
через valkey-cli без флага -c. Библиотека-клиент прячет ровно то, что здесь
интересно: сама ходит за картой слотов, сама повторяет запрос, сама спрашивает
sentinel. Настоящие клиентские библиотеки используются только в блоках 3 и 4 —
там вопрос как раз в том, что делает клиент, и считают это сами узлы.
Что получилось
Как клиент находит узел
| нативный кластер | Sentinel | |
|---|---|---|
| кто знает топологию | каждый узел данных | отдельная служба |
| что клиент спрашивает | любой узел, обычной командой | SENTINEL get-master-addr-by-name |
| как узнаёт про чужой ключ | MOVED 12182 127.0.0.1:43425 |
никак: вопрос не к узлу |
| что нужно в конфиге клиента | один живой адрес узла | адреса sentinel и имя набора |
В блоке 3 видно, что клиент кластера, получив ОДИН адрес из шести, сходил за
CLUSTER SLOTS и дальше писал напрямую нужному узлу. В блоке 4 порядок
обратный: сначала вопрос службе, потом команда данным.
Что ломается в кластере из привычного
| команда | в кластере | под sentinel |
|---|---|---|
MSET foo 1 bar 2 |
CROSSSLOT Keys in request don't hash to the same slot |
OK |
MSET {u}:a 1 {u}:b 2 |
работает: общая скобка кладёт ключи в один слот | OK |
SELECT 1 |
ERR DB index is out of range — но см. ниже |
OK |
SWAPDB 0 1 |
ERR SWAPDB is not allowed in cluster mode |
OK |
Две формы отказа различаются не случайно: SWAPDB запрещён как таковой, а
SELECT 1 — выход за границу. За какую именно границу, блок 6 сам по себе не
говорит, и на этом первая версия статьи ошиблась.
Нумерованные базы: настройка, а не режим
Из SELECT 1 → ERR DB index is out of range в первой версии был сделан вывод
«в кластере база ровно одна». Это правило Redis и Valkey до 9.0; в Valkey 9.0
нумерованные базы в кластере появились, а их число задаёт неизменяемая
настройка cluster-databases со значением по умолчанию 1. Блоки 14–16
поднимают два кластера, отличающихся ровно этой строкой:
| кластер А | кластер Б | |
|---|---|---|
cluster-databases |
1 | 16 |
SELECT 1 |
ERR DB index is out of range |
OK |
SELECT 15 |
ERR DB index is out of range |
OK |
SELECT 16 |
ERR DB index is out of range |
ERR DB index is out of range |
Номер базы в адресацию не входит: один ключ в базах 0 и 1 держит разные
значения при одном слоте 12182. А вот чего базы не дают — общего на кластер
представления о себе: DBSIZE и SCAN считают только ту часть базы, что лежит
на узле, куда пришла команда, SWAPDB остаётся запрещён.
Границы трёх утверждений
Блоки 17–19 перемеряют места, где статья сказала шире измеренного:
«никогда» из блока 12 снимается настройкой cluster-replica-validity-factor 0
(реплика повышается за четыре секунды, но пустой); границу кворума и
большинства заранее показывает SENTINEL CKQUORUM; узел под sentinel знает не
«ничего», а свою пару репликации — не знает он только авторитетного ответа
службы.
Отказ мастера
| нативный кластер | Sentinel | |
|---|---|---|
| кто замечает | сами узлы, по шине | отдельные наблюдатели |
| кто решает | большинство мастеров | большинство sentinel |
| что получает клиент в этот момент | CLUSTERDOWN, потом MOVED на новый адрес |
молчание старого адреса |
| как клиент узнаёт новый адрес | из ответа любого живого узла | только спросив sentinel |
| вернувшийся старый мастер | сразу реплика, отдаёт MOVED |
мастер на 10 с, принимает записи |
Последняя строка — самое опасное место режима Sentinel и содержание блока 10.
Вернувшийся узел поднимается мастером, отвечает OK на записи, а после
перевода в реплику полная синхронизация их стирает. Клиент при этом не видит ни
одной ошибки.
Два состояния готовности
Блоки 11 и 12 — про находку, ради которой стоило ронять узлы вручную. Между
«слоты розданы» (cluster_state:ok) и «есть кому повышаться»
(master_link_status:up у реплик) прошло 6,07 секунды. Мастер, упавший
внутри этого окна, не заменяется НИКОГДА: у реплики, ни разу не подключавшейся,
отметка «когда упал канал» осталась нулевой, возраст её данных считается от
начала эпохи Unix, и она отказывается повышаться:
Currently unable to failover: Disconnected from primary for longer than
allowed. Please check the 'cluster-replica-validity-factor' configuration
option.
Условие видно в исходнике (src/cluster_legacy.c):
if (server.repl_state == REPL_STATE_CONNECTED) {
data_age = (mstime_t)(server.unixtime - server.primary->last_interaction) * 1000;
} else {
data_age = (mstime_t)(server.unixtime - server.repl_down_since) * 1000;
}
Практический вывод про эксплуатацию: «кластер поднялся» и «кластер держит
отказ» — разные проверки, и вторая смотрит на master_link_status каждой
реплики.
Кворум и большинство
Пять sentinel, кворум 2, погашены три. Кворум выполнен — и переключения всё равно нет:
+odown master cache 127.0.0.1 48147 #quorum 2/2
+try-failover master cache 127.0.0.1 48147
+vote-for-leader c92cd70b21a9dd26ec40e67185371e78ee502f9a 1
-failover-abort-not-elected master cache 127.0.0.1 48147
Стоило поднять одного из погашенных — большинство появилось, и переключение состоялось за две секунды. Кворум при этом не менялся вовсе.
Источники
- Valkey. Cluster specification — https://valkey.io/topics/cluster-spec/
- Valkey. High availability with Valkey Sentinel — https://valkey.io/topics/sentinel/
- Valkey. Sentinel client spec — https://valkey.io/topics/sentinel-clients/
- Valkey. Atomic slot migration — https://valkey.io/topics/atomic-slot-migration/
- Valkey. Numbered Databases in Valkey 9.0 — https://valkey.io/blog/numbered-databases/
- Redis. CLUSTER MIGRATION — https://redis.io/docs/latest/commands/cluster-migration/
- Исходники Valkey 9.1.2 — https://github.com/valkey-io/valkey/tree/9.1.2
Скрипт
191 строк"""Нумерованные базы в кластере: версия Valkey меняет ответ — блоки 14-16.
ОТКУДА ВЗЯЛСЯ ЭТОТ СКРИПТ. Из ошибки в первой версии статьи. Там стояло
«в кластере база ровно одна», и подтверждалось это ответом сервера:
SELECT 1 → ERR DB index is out of range
Ответ настоящий, вывод неверный. Это правило Redis и Valkey до 9.0; в Valkey
9.0 появились нумерованные базы в кластере, а число их задаёт отдельная
настройка `cluster-databases` со значением по умолчанию 1. То есть замер
показывал не отсутствие возможности, а НАСТРОЙКУ ПО УМОЛЧАНИЮ — и отличить
одно от другого можно было только вторым опытом, которого не было.
ЧТО ЗДЕСЬ ПРОВЕРЯЕТСЯ. Два кластера, отличающиеся ровно одной строкой конфига,
и три вопроса к ним: сколько баз доступно, зависит ли слот от номера базы, и
какие ограничения никуда не делись. Третий вопрос важен не меньше первых двух:
из «базы появились» легко сделать обратный миф — будто в кластере они ведут
себя как в одиночном узле.
ПОЧЕМУ `cluster-databases` НЕЛЬЗЯ ПОМЕНЯТЬ НА ЛЕТУ. В исходнике настройка
объявлена IMMUTABLE_CONFIG (`src/config.c`), поэтому оба кластера поднимаются
отдельно, а не перенастраиваются.
ЗАПУСК: python3 bench/valkey-cluster/databases.py
"""
from __future__ import annotations
import time
from common import Cluster, cli, free_port, head, note, preamble, row
PAD = 40
def owner_of(ports: list[int], key: str) -> int:
"""Узел, которому принадлежит слот ключа."""
answer = cli(ports[0], "set", key, "probe")
if answer.startswith("MOVED"):
return int(answer.split()[-1].split(":")[1])
return ports[0]
def spin(cluster: Cluster, databases: int) -> list[int]:
"""Поднять кластер из трёх мастеров с заданным числом баз."""
ports = [free_port() for _ in range(3)]
for p in ports:
cluster.start_data(p, cluster=True, extra=["--cluster-databases", str(databases)])
cluster.form_cluster_raw(ports, replicas=0)
deadline = time.time() + 60
from common import cluster_state
while time.time() < deadline:
if all(cluster_state(p) == "ok" for p in ports):
break
time.sleep(0.2)
return ports
def block14(default_ports: list[int], many_ports: list[int]) -> None:
head(14, "СКОЛЬКО БАЗ В КЛАСТЕРЕ, РЕШАЕТ НАСТРОЙКА, А НЕ РЕЖИМ")
d_owner = owner_of(default_ports, "foo")
m_owner = owner_of(many_ports, "foo")
row("кластер А: cluster-databases",
cli(default_ports[0], "config", "get", "cluster-databases").split()[-1], pad=PAD)
row("кластер Б: cluster-databases",
cli(many_ports[0], "config", "get", "cluster-databases").split()[-1], pad=PAD)
print()
for label, port in (("кластер А (по умолчанию)", d_owner), ("кластер Б (16 баз)", m_owner)):
row(f"{label}: SELECT 0", cli(port, "select", "0"), pad=PAD)
row(f"{label}: SELECT 1", cli(port, "select", "1"), pad=PAD)
row(f"{label}: SELECT 15", cli(port, "select", "15"), pad=PAD)
row(f"{label}: SELECT 16", cli(port, "select", "16"), pad=PAD)
print()
note(
"""
Два кластера отличаются одной строкой конфига, и ответы на одну и ту
же команду у них разные. Значит, `ERR DB index is out of range` в
кластере А — не «в кластере баз не бывает», а «в ЭТОМ кластере база
настроена одна».
Разница между этими двумя прочтениями и есть содержание блока. Первое
— правило Redis и Valkey до 9.0, и оно до сих пор кочует по статьям.
Второе — то, что на самом деле происходит на Valkey 9.
Обратите внимание и на то, что НЕ изменилось: значение по умолчанию
осталось единицей. Кластер, поднятый обычным способом, ведёт себя
по-старому, и именно поэтому старое правило так долго выглядит
верным.
"""
)
def block15(many_ports: list[int]) -> None:
head(15, "НОМЕР БАЗЫ НЕ УЧАСТВУЕТ В ВЫЧИСЛЕНИИ СЛОТА")
owner = owner_of(many_ports, "foo")
row("узел-владелец слота ключа foo", f"127.0.0.1:{owner}", pad=PAD)
print()
row("в базе 0: SET foo db0", cli(owner, "-n", "0", "set", "foo", "db0"), pad=PAD)
row("в базе 1: SET foo db1", cli(owner, "-n", "1", "set", "foo", "db1"), pad=PAD)
print()
row("в базе 0: GET foo", cli(owner, "-n", "0", "get", "foo"), pad=PAD)
row("в базе 1: GET foo", cli(owner, "-n", "1", "get", "foo"), pad=PAD)
print()
row("в базе 0: CLUSTER KEYSLOT foo", cli(owner, "-n", "0", "cluster", "keyslot", "foo"), pad=PAD)
row("в базе 1: CLUSTER KEYSLOT foo", cli(owner, "-n", "1", "cluster", "keyslot", "foo"), pad=PAD)
note(
"""
Один ключ, два значения, один слот. Это и есть модель данных Valkey 9:
адресация по-прежнему двухшаговая — ключ в слот, слот в узел, — а база
добавляется ТРЕТЬИМ измерением уже внутри узла и на выбор узла не
влияет вовсе.
Практическое следствие приятное: разнести окружения по базам в
кластере можно, и раскладка данных по узлам от этого не изменится ни
на ключ. Практическое следствие неприятное — в следующем блоке.
"""
)
def block16(many_ports: list[int]) -> None:
head(16, "ЧТО НЕ ИЗМЕНИЛОСЬ: ЗАПРЕТЫ И ГРАНИЦА ВИДИМОСТИ")
owner = owner_of(many_ports, "foo")
other = [p for p in many_ports if p != owner]
row("SWAPDB 0 1", cli(owner, "swapdb", "0", "1"), pad=PAD)
print()
# Ключи раскладываются по РАЗНЫМ слотам нарочно: вопрос блока — что видит
# команда, выполняемая на одном узле, когда данные лежат на трёх.
for key, value in (("foo", "1"), ("bar", "2"), ("user:1", "3")):
for port in many_ports:
if not cli(port, "-n", "1", "set", key, value).startswith("MOVED"):
break
print(" в базе 1 записаны три ключа, разошедшиеся по трём узлам:")
for key in ("foo", "bar", "user:1"):
row(f" CLUSTER KEYSLOT {key}", cli(owner, "cluster", "keyslot", key), pad=PAD)
print()
print(" что отвечает DBSIZE в базе 1 на каждом узле:")
for port in many_ports:
row(f" узел {port}", cli(port, "-n", "1", "dbsize"), pad=PAD)
print()
row("SCAN в базе 1 на узле-владельце", " ".join(cli(owner, "-n", "1", "scan", "0").split()), pad=PAD)
if other:
row(f"SCAN в базе 1 на узле {other[0]}",
" ".join(cli(other[0], "-n", "1", "scan", "0").split()), pad=PAD)
note(
"""
Три вещи разом, и все три — против обратного мифа «раз базы появились,
они работают как в одиночном узле».
Первое: SWAPDB как был запрещён, так и остался, и текст отказа прямо
называет причину — режим. Обменять базы на одном шарде значило бы
рассогласовать его с остальными.
Второе и главное: DBSIZE и SCAN считают не базу целиком, а её часть НА
ТОМ УЗЛЕ, куда пришла команда. Три ключа записаны в одну базу и
разошлись по трём узлам — и ни один узел не видит всех трёх. То же
касается FLUSHDB.
Отсюда правило, которое стоит унести: нумерованная база в кластере —
это пространство имён, а не отдельное хранилище. Она не даёт ни
изоляции ресурсов, ни общего на кластер представления о своём
содержимом.
"""
)
def main() -> None:
preamble("два кластера, отличающиеся одной строкой конфига: cluster-databases 1 и 16")
cluster = Cluster()
try:
default_ports = spin(cluster, 1)
many_ports = spin(cluster, 16)
block14(default_ports, many_ports)
block15(many_ports)
block16(many_ports)
finally:
cluster.stop_all()
if __name__ == "__main__":
main()