Глоссарий Unicode
150 ключевых терминов Unicode с объяснениями — от основ кодирования символов до концепций безопасности.
Кодировка (17)
American Standard Code for Information Interchange. 7-битная кодировка, охватывающая 128 символов (0–127): управляющие символы, цифры, латинские буквы и базовые символы.
Visual art created from text characters, originally limited to the 95 printable ASCII characters. Unicode expands the palette with box-drawing …
Binary-to-text encoding that represents binary data using 64 ASCII characters (A–Z, a–z, 0–9, +, /). Used for embedding binary data …
Кодировка традиционного китайского, используемая в основном на Тайване и в Гонконге, кодирующая около 13 000 CJK-символов.
Extended Binary Coded Decimal Interchange Code. Кодировка мейнфреймов IBM с непоследовательными диапазонами букв, до сих пор используется в банковских и …
Корейская кодировка на основе KS X 1001, отображающая слоги хангыля и ханча в двухбайтовые последовательности.
Семейство кодировок упрощённого китайского: GB2312 (6763 символа) эволюционировала в GBK, затем в GB18030 — обязательный национальный китайский стандарт, совместимый с …
Семейство 8-битных однобайтовых кодировок для разных языковых групп. ISO 8859-1 (Latin-1) послужила основой для первых 256 code points Unicode.
Японская кодировка, сочетающая однобайтовый ASCII/JIS Roman с двухбайтовыми кандзи JIS X 0208. До сих пор используется в устаревших японских системах.
Устаревшая фиксированная 2-байтовая кодировка, охватывающая только BMP (U+0000–U+FFFF). Предшественник UTF-16, не способный представлять дополнительные символы.
Многобайтовая кодировка Unicode, использующая 2 или 4 байта (1 или 2 code unit по 16 бит). Используется внутри Java, JavaScript …
Фиксированная кодировка Unicode, использующая ровно 4 байта на символ. Простая, но неэффективная по памяти; используется внутри Python 3 (CPython).
Многобайтовая кодировка Unicode, использующая 1–4 байта на символ. Доминирующая кодировка веба (98%+ сайтов) с полной обратной совместимостью с ASCII.
Расширение ISO 8859-1 от Microsoft, добавляющее типографские кавычки, длинное тире и знак евро в диапазоне 0x80–0x9F. Самая распространённая устаревшая «латинская» …
Система сопоставления символов с байтовыми последовательностями для цифрового хранения и передачи. Каждый текстовый файл имеет кодировку — вопрос в том, …
U+FEFF, размещаемый в начале текстового потока для указания порядка байтов и кодировки. Обязателен для UTF-16/32, опционален и не рекомендуется для …
Официальный реестр имён кодировок, поддерживаемый IANA, используемый в заголовках HTTP Content-Type и MIME (например, charset=utf-8).
Стандарт Unicode (25)
Плоскость 0 (U+0000–U+FFFF), содержащая наиболее употребительные символы, включая латиницу, греческий, кириллицу, CJK, арабский и большинство символов. Символы здесь помещаются в …
Китайский, японский и корейский — собирательный термин для унифицированного блока иероглифов хань и связанных письменностей в Unicode. CJK Unified Ideographs …
The process of mapping Chinese, Japanese, and Korean ideographs that share a common historical origin to a single Unicode code …
The individual consonant and vowel components (jamo) of the Korean Hangul writing system. Unicode encodes both precomposed Hangul syllables (U+AC00–U+D7A3) …
Международный стандарт (ISO/IEC 10646), синхронизированный с Unicode, определяющий тот же репертуар символов и code points, но без дополнительных алгоритмов и …
Универсальный стандарт кодирования символов, присваивающий уникальный номер (code point) каждому символу во всех системах письма. Версия 16.0 содержит 154 998 …
Машиночитаемая коллекция файлов данных, определяющих все свойства символов Unicode, включая UnicodeData.txt, Blocks.txt, Scripts.txt и многие другие.
Normative or informative documents that are integral parts of the Unicode Standard. UAX#9 (Bidi Algorithm), UAX#11 (East Asian Width), UAX#15 …
Informational documents published by the Unicode Consortium covering specific topics like security mechanisms (UTR#39), text segmentation (UTR#29), and line breaking …
Единица информации для организации, управления или представления текстовых данных — концептуальная сущность до получения кодовой позиции.
Основные выпуски стандарта Unicode, каждый добавляющий новые символы, письменности и функции. Текущая версия — Unicode 16.0 (сентябрь 2025).
Плоскости 1–16 (U+10000–U+10FFFF), содержащие эмодзи, исторические письменности, расширения CJK и музыкальную нотацию. Требуют суррогатных пар в UTF-16.
Кодовая позиция, зарезервированная для будущей стандартизации, в отличие от несимволов (зарезервированы навсегда) и областей частного использования (назначаемых пользователем).
Зарезервированные диапазоны, где организации могут назначать собственные символы: BMP PUA (U+E000–U+F8FF) плюс дополнительные PUA в плоскостях 15 и 16.
Минимальная единица кодирования: 8-битный байт в UTF-8, 16-битное слово в UTF-16, 32-битное слово в UTF-32. Один символ может требовать нескольких …
Числовое значение в кодовом пространстве Unicode (U+0000–U+10FFFF), записываемое как U+XXXX. Не все code points назначены символам.
Полный диапазон возможных code points Unicode: U+0000–U+10FFFF (1 114 112 всего), разделённый на 17 плоскостей по 65 536 code points …
Некоммерческая организация, разрабатывающая и поддерживающая стандарт Unicode. Членами являются Apple, Google, Microsoft, Meta и многие другие.
Code point, которому присвоено обозначение символа в версии Unicode. На момент Unicode 16.0 назначено 154 998 code points из 1 …
Кодовая позиция, которой пока не присвоен символ ни в одной версии Unicode, категория Cn (Unassigned). Может быть назначена в будущих …
Code points, постоянно зарезервированные для внутреннего использования (66 всего): U+FDD0–U+FDEF и U+nFFFE/U+nFFFF для каждой плоскости. Допустимы в тексте, но не …
Непрерывный блок из 65 536 code points. Unicode имеет 17 плоскостей (0–16): плоскость 0 — это BMP, плоскость 1 — …
Гарантия, что после назначения символа его code point и имя никогда не меняются. Свойства могут уточняться, но назначения постоянны.
Любая кодовая позиция, кроме суррогатных (U+D800–U+DFFF). Допустимый набор значений для представления реальных символов, всего 1 112 064.
Code points U+D800–U+DFFF, зарезервированные исключительно для суррогатных пар UTF-16. Не являются допустимыми скалярными значениями Unicode и не должны появляться как …
Свойства (19)
Unicode property (UAX#11) classifying characters as Narrow, Wide, Fullwidth, Halfwidth, Ambiguous, or Neutral. Wide characters (CJK ideographs, katakana) occupy two …
Unicode property controlling how Arabic and Syriac characters connect to adjacent characters. Types include Right_Joining, Left_Joining, Dual_Joining, and Non_Joining.
Unicode property listing all scripts that use a character, broader than the single-valued Script property. Common characters like digits have …
Именованный непрерывный диапазон кодовых позиций (например, Basic Latin = U+0000–U+007F). Unicode 16.0 определяет 336 блоков; каждая позиция принадлежит ровно одному …
Свойство, определяющее поведение символа в двунаправленном тексте (LTR, RTL, слабое, нейтральное). Используется алгоритмом Unicode Bidirectional Algorithm для определения порядка отображения.
Отображение символа на его компоненты. Каноническая декомпозиция сохраняет значение (é → e + ́); совместимая может изменить его (fi → …
Символы, не имеющие видимого эффекта и игнорируемые процессами, которые их не поддерживают, включая селекторы вариантов, символы нулевой ширины и языковые …
Две последовательности символов, семантически идентичные и трактуемые как равные. Пример: é (U+00E9) ≡ e + ◌́ (U+0065 + U+0301).
Числовое значение (0–254), управляющее порядком комбинирующих знаков при канонической декомпозиции и определяющее, какие знаки можно переупорядочивать.
Воспринимаемый пользователем «символ» — то, что ощущается как единое целое. Может состоять из нескольких кодовых позиций (база + комбинирующие знаки …
Классификация каждой кодовой позиции в одну из 30 категорий (Lu, Ll, Nd, So и т. д.), сгруппированных в 7 основных …
Письменность, к которой принадлежит символ (например, Latin, Cyrillic, Han). Unicode 16.0 определяет 168 письменностей; свойство Script важно для безопасности и …
Правила преобразования символов между верхним, нижним и титульным регистрами. Могут зависеть от локали (проблема турецкого I) и быть отношением один-ко-многим …
Альтернативные имена для символов, поскольку имена Unicode нельзя изменять согласно политике стабильности. Используются для исправлений, сокращений и фантомов.
Символы, используемые для организации и уточнения письменного языка: точки, запятые, тире, кавычки и другие. Общая категория Unicode P охватывает всю …
Версия Unicode, в которой символ был впервые назначен. Полезно для определения поддержки символов в системах и версиях ПО.
Символы, глиф которых должен зеркально отражаться в RTL-контексте. Примеры: ( → ), [ → ], { → }, « → …
Числовая интерпретация символа, если есть: значение цифры (0–9), десятичное значение или общее числовое значение (например, ½ = 0.5, Ⅳ = …
Две последовательности символов с одинаковым абстрактным содержанием, но возможно различным отображением. Шире канонической эквивалентности. Пример: fi ≈ fi, ² ≈ …
Алгоритмы (15)
Mapping characters to a common case form for case-insensitive comparison. More comprehensive than lowercasing: German ß → ss, Turkish İ …
Rules (UAX#29) for determining where one user-perceived character ends and another begins. Critical for cursor movement, text selection, and correctly …
Normalization Form C: декомпозиция с последующей канонической рекомпозицией, дающая кратчайшую форму. Рекомендуется для хранения и обмена данными; стандартная веб-форма.
Normalization Form D: полная декомпозиция без рекомпозиции. Используется файловой системой macOS HFS+. é (U+00E9) → e + ◌́ (U+0065 + …
Normalization Form KC: совместимая декомпозиция с последующей канонической композицией. Объединяет визуально похожие символы (fi→fi, ²→2, Ⅳ→IV). Используется для сравнения идентификаторов.
Normalization Form KD: совместимая декомпозиция без рекомпозиции. Самая агрессивная нормализация с максимальной потерей информации о форматировании.
Comparing Unicode strings requires normalization (NFC/NFD) and optionally collation (locale-aware sorting). Binary comparison of code points alone gives incorrect results …
Правила определения мест переноса текста на следующую строку с учетом свойств символов, границ слов CJK и возможностей разрыва.
Стандартный алгоритм сравнения и сортировки строк Unicode с многоуровневым сравнением: базовый символ → акценты → регистр → критерии разрешения. Настраивается …
Позиция между предложениями по правилам Unicode. Сложнее разделения по точкам — учитывает сокращения (Mr.), многоточие (...) и десятичные точки (3.14).
Позиция между словами согласно правилам Unicode. Не простое разделение по пробелам — обрабатывает CJK (без пробелов), сокращения и числа корректно.
Алгоритм определения порядка отображения символов в разнонаправленном тексте (например, английский + арабский) с использованием bidi-категорий и явных переопределений направления.
Символы, исключённые из канонической композиции (NFC) для предотвращения декомпозиции не-стартеров и обеспечения алгоритмической стабильности. Перечислены в CompositionExclusions.txt.
Процесс преобразования текста Unicode в стандартную каноническую форму. Четыре формы: NFC (скомпонованная), NFD (декомпонованная), NFKC (совместимая скомпонованная), NFKD (совместимая декомпонованная).
Алгоритмы поиска границ в тексте: границы графемных кластеров, слов и предложений. Критично для перемещения курсора, выделения текста и обработки.
Типографика (19)
CSS @font-face descriptor specifying which Unicode code points a font should cover. Enables downloading only the font subset needed for …
Em: ширина, равная кеглю шрифта. En: половина em. Используются для определения ширины длинного тире, пробела em, пробела en и единиц …
The mechanism by which a rendering engine substitutes glyphs from a secondary font when the primary font lacks coverage for …
Modern font format developed by Microsoft and Adobe supporting up to 65,535 glyphs, advanced typographic features (ligatures, alternates, kerning), and …
Направление текста, при котором символы располагаются справа налево. Используется арабским, еврейским, тана и другими письменностями; требует Bidirectional Algorithm для правильного …
Fonts downloaded by the browser to render text, declared via CSS @font-face. WOFF2 is the standard format. Unicode subsetting and …
Визуальное представление символа, отображаемое шрифтом. Один символ может иметь несколько глифов (лигатуры, контекстные формы); один глиф может представлять несколько символов.
Знак, добавляемый к букве для изменения произношения или значения. Может быть предкомпонованным (é U+00E9) или комбинируемым (e + ◌́ U+0065+U+0301). …
Парные знаки пунктуации, обрамляющие прямую речь или цитаты. Unicode включает прямые (""), фигурные (""), кавычки-ёлочки (« »), CJK угловые скобки …
Настройка межсимвольного расстояния для конкретных пар символов для визуальной гармонии (например, AV, To, LT). Это функция шрифта, а не концепция …
Два или более символа, объединённые в один глиф. Может быть типографской (fi → fi через OpenType) или символом Unicode (fi …
Прописные буквы высотой строчных букв. CSS: font-variant: small-caps. Unicode также содержит настоящие малые прописные буквы в Latin Extended (ᴀ–ᴢ).
U+2026 HORIZONTAL ELLIPSIS (…). Один символ, заменяющий три точки, типографически корректный и считающийся за 1 символ вместо 3.
U+00A0. Пробел, предотвращающий разрыв строки в своей позиции. HTML: . Используется между числами и единицами (100 км), в именах собственных …
Символ, присоединяющийся к предшествующему базовому символу для его модификации. Общая категория: Mn (неразмещающий), Mc (размещающий комбинируемый), Me (охватывающий). Пример: ◌́ …
Символы, представляющие горизонтальные или вертикальные пробелы, но не имеющие видимого глифа. Unicode определяет более 17 пробельных символов с различной шириной …
Символы с нулевой шириной — невидимые при рендеринге, но влияющие на поведение текста. Включают ZWSP (разрыв слова), ZWJ (соединение), ZWNJ …
Знаки пунктуации, используемые для разделения частей предложения или обозначения диапазонов. Unicode определяет несколько тире: дефис (‐), короткое тире (–), длинное …
Конкретная реализация гарнитуры определённого размера, насыщенности и начертания. В цифровой типографике — файл шрифта (TTF, OTF, WOFF2), содержащий определения глифов …
Методы ввода (9)
Метод ввода Windows, использующий Alt + цифры на цифровой клавиатуре для ввода символов по номеру кодовой страницы (Alt+0169 → ©, …
A system-level tool for browsing and inserting Unicode characters. macOS Character Viewer (Ctrl+Cmd+Space), Windows Character Map (charmap.exe), and Linux gucharmap …
Программный компонент, обеспечивающий ввод сложных символов (CJK, корейских и т.д.) с помощью стандартной клавиатуры, преобразующий последовательности нажатий в символы через …
Прямой ввод кодовой позиции Unicode путём набора шестнадцатеричного значения. Mac: удерживать Option + hex + отпустить. Windows: набрать hex затем …
Компонент интерфейса (нативный или веб-приложение) для визуального просмотра и выбора символов. Панели emoji на мобильных устройствах — наиболее распространённый пример.
Клавиша (обычно правый Alt или настраиваемая), начинающая многоклавишную композитную последовательность. Функция Linux/Unix: Compose + a + e → æ. Настраивается …
Любой метод ввода символов по их кодовой позиции Unicode: hex-ввод (Mac), ввод U+XXXX через Ctrl+Shift+U (Linux) или Alt+X (приложения Windows).
Клавиша, не производящая немедленного вывода, но изменяющая следующее нажатие. Используется для диакритических знаков: нажатие ` затем e даёт è. Распространено …
Графическая утилита для просмотра и вставки символов Unicode. Windows: charmap.exe. Mac: Character Viewer (Control+Command+Space). Linux: gucharmap.
Веб и HTML (16)
CSS properties (direction, writing-mode, unicode-bidi) controlling text layout direction. Works with Unicode Bidi Algorithm for mixed LTR/RTL content in web …
Текстовое представление символа в HTML. Три формы: именованная (&), десятичная (&), шестнадцатеричная (&). Необходимы для символов, конфликтующих с синтаксисом HTML.
Доменные имена, содержащие не-ASCII символы Unicode, внутренне хранящиеся как Punycode (xn--...), но отображаемые пользователям в Unicode. Проблема безопасности: атаки омографов.
ECMAScript Internationalization API providing locale-aware string comparison (Collator), number formatting (NumberFormat), date formatting (DateTimeFormat), and segmentation (Segmenter).
ASCII-совместимое кодирование доменных имён Unicode, преобразующее интернационализированные метки в ASCII-строки с префиксом xn--. münchen.de → xn--mnchen-3ya.de.
CSS supports Unicode via escape sequences (\2713 for ✓), the content property for generated text, unicode-range for font subsetting, and …
HTML-сущность, использующая понятное имя: © → ©, — → —. HTML5 определяет 2 231 именованную ссылку; они чувствительны к регистру.
Параметр HTTP-заголовка, объявляющий кодировку символов ответа (Content-Type: text/html; charset=utf-8). Переопределяет любое объявление кодировки внутри документа.
U+2060. Символ нулевой ширины, предотвращающий перенос строки. Современная замена U+FEFF (BOM) в качестве неразрывного пробела нулевой ширины.
Отображение символа цветным emoji-глифом, обычно с использованием селектора вариантов 16 (U+FE0F). Некоторые символы по умолчанию отображаются как emoji, другие — …
Кодирование не-ASCII и зарезервированных символов в URL путём замены каждого байта на %XX. Сначала используется UTF-8, затем каждый байт процентно …
Свойство CSS, вставляющее генерируемый контент через псевдоэлементы ::before и ::after с использованием Unicode-экранирования: content: "\2713" вставляет ✓.
Символы (U+FE00–U+FE0F, U+E0100–U+E01EF), которые выбирают конкретный вариант начертания глифа. VS15 (U+FE0E) = текстовое представление, VS16 (U+FE0F) = emoji-представление.
XML-версия числовых символьных ссылок: ✓ или ✓. В XML есть только 5 именованных сущностей (& < > " '), тогда …
Отображение символа простым монохромным текстовым глифом, а не цветным emoji, обычно с использованием селектора вариантов 15 (U+FE0E) для переопределения стандартного …
HTML-сущность, использующая номер кодовой позиции Unicode: десятичный (© → ©) или шестнадцатеричный (© → ©). Работает для любого символа Unicode, …
Программирование и разработка (13)
Синтаксис для представления Unicode-символов в исходном коде. Варьируется в зависимости от языка: \u2713 (Python/Java/JS), \u{2713} (JS/Ruby/Rust), \U00012345 (Python/C).
Java strings use UTF-16 internally. char is 16-bit (only BMP). For supplementary characters, use codePointAt() and Character.toChars(). Java's \uXXXX escapes …
Искажённый текст, возникающий при декодировании байтов с неправильной кодировкой. Японский термин (文字化け). Пример: 'café' сохранён как UTF-8, но прочитан как …
Python 3 uses Unicode strings by default (str = UTF-8 internally via PEP 393). Key features: \N{name} escapes, unicodedata module, …
Rust strings (str/String) are guaranteed valid UTF-8. char type represents a Unicode scalar value (4 bytes). Iteration via .chars() yields …
Кодирование преобразует символы в байты (str.encode('utf-8')); декодирование преобразует байты в символы (bytes.decode('utf-8')). Правильное использование предотвращает mojibake.
Любой символ без видимого глифа: пробельные символы, символы нулевой ширины, управляющие символы и символы форматирования. Может вызывать проблемы безопасности, такие …
«Длина» Unicode-строки зависит от единицы измерения: кодовые единицы (JavaScript .length), кодовые точки (Python len()) или графемные кластеры. 👨👩👧👦 = 7 …
U+0000 (NUL). Первый символ Unicode/ASCII, используемый как терминатор строки в C/C++. Риск безопасности: внедрение нулевого байта может обрезать строки в …
Регулярные выражения с использованием Unicode-свойств: \p{L} (любая буква), \p{Script=Greek} (греческое письмо), \p{Emoji}. Поддержка зависит от языка и движка регулярных выражений.
U+FFFD (�). Отображается, когда декодер обнаруживает недопустимые байтовые последовательности — универсальный символ для «что-то пошло не так при декодировании».
Последовательность символов в языке программирования. Внутреннее представление варьируется: UTF-8 (Go, Rust, новые сборки Python), UTF-16 (Java, JavaScript, C#) или UTF-32 …
Две 16-битные кодовые единицы (старший суррогат U+D800–U+DBFF + младший суррогат U+DC00–U+DFFF), которые вместе кодируют дополнительный символ в UTF-16. 😀 = …
Безопасность (10)
Exploiting Unicode bidirectional control characters to disguise malicious code or filenames. The 'Trojan Source' attack (CVE-2021-42574) uses bidi overrides to …
Exploiting Unicode normalization to bypass security filters. Input validated before normalization may change form after: 'fi' (U+FB01) normalizes to 'fi', …
U+200D. Запрашивает объединение соседних символов. Критичен для emoji-последовательностей (👩+ZWJ+💻=👩💻). В индийских письменностях запрашивает образование лигатур. Также может скрывать границы текста.
U+200C. Предотвращает объединение соседних символов. Необходим в персидском/арабском для правильных форм букв и используется в деванагари для предотвращения лигатур.
Использование визуально похожих Unicode-символов в доменных именах для имитации легитимных сайтов. аpple.com (кириллическая а) выглядит как apple.com. Браузеры защищаются правилами …
Использование Unicode-символов переопределения двунаправленности (U+202A–U+202E, U+2066–U+2069) для маскировки вредоносных имён файлов или кода. 'readmefdp.exe' отображается как 'readmeexe.pdf'.
Идентификация текста, смешивающего символы из разных письменностей (например, латиница + кириллица). Основная защита от атак с омоглифами; браузеры используют это …
Символы из разных письменностей, которые выглядят идентично или очень похоже, например, латинская 'a' и кириллическая 'а'. Используется в фишинге, подмене …
Официальный термин Unicode для пар символов, которые можно визуально перепутать, определённых в confusables.txt (UCD). Шире, чем омоглифы — включает просто …
Использование функций Unicode для обмана пользователей: омоглифы для поддельных доменов, переопределение bidi для поддельных расширений файлов или невидимые символы для …
Эмодзи (6)
Пиктографические Unicode-символы, происходящие из японских мобильных телефонов. Сейчас 3 790+ emoji в нескольких блоках (Emoticons, Misc Symbols & Pictographs, Transport …
Multi-character emoji constructed by combining base emoji with modifiers, ZWJ characters, or variation selectors. Types include keycap sequences (#️⃣), flag …
Five Fitzpatrick scale modifiers (U+1F3FB–U+1F3FF, 🏻–🏿) that change human emoji skin color. Applied by appending the modifier after a base …
Модификаторы оттенка кожи по шкале Фицпатрика (U+1F3FB–U+1F3FF), которые изменяют цвет кожи человеческих emoji, помещаясь сразу после базового человеческого emoji.
Emoji, построенные объединением нескольких emoji с помощью соединителя нулевой ширины (U+200D). 👨👩👧👦 = Мужчина + ZWJ + Женщина + ZWJ …
26 символов (U+1F1E6–U+1F1FF, 🇦–🇿), которые объединяются парами для формирования флагов стран на основе кодов стран ISO 3166-1. 🇺+🇸 = 🇺🇸.