13. Metrics
Часть RENAR Standard v1.0-draft · ← Оглавление
13.1 Назначение главы
Глава нормирует закрытый список десяти REQ-специфичных метрик, добавляющих к SENAR §9 (10 общих метрик процесса) измерения, специфичные для process area «requirements engineering».
Глава фиксирует:
- Позиционирование относительно SENAR §9 (§13.2) — RENAR метрики расширяют, не дублируют.
- Closed list десяти REQ-метрик (§13.3) — для каждой: формула, цель по уровню RENAR (глава 12), источник данных, связь с SENAR.
- Сводная таблица целей по уровням (§13.4).
- Business outcomes (§13.5) — шесть обозначаемых эффектов внедрения; являются нормативными ожиданиями стандарта, не индикаторами процесса.
- Substrate-agnostic сбор (§13.6) — метрики собираются substrate-нативно через V1–V6 (глава 11); конкретные dashboards выносятся в
guide/. - Mapping на SENAR метрики (§13.7) — соответствие 10 SENAR ↔ REQ-уточнениям.
Глава не определяет конкретные substrate-нативные dashboards (это guide/-уровень). Глава не определяет ROI / pricing — эти разделы non-normative и остаются в research-материалах. Глава не дублирует SENAR §9 — только специализирует.
13.2 Связь с SENAR §9
SENAR §9 определяет десять метрик общего процесса: Throughput, Lead Time, FPSR (First-Pass Success Rate), DER (Defect Escape Rate), KCR (Knowledge Capture Rate), Cost Predictability, Cost-per-task, MIR (Memory Integrity Rate), Cycle Time, ADR (Adversarial Detection Rate).
RENAR §13 не редактирует и не заменяет эти метрики. REQ-специфичные метрики §13.3:
- Уточняют SENAR метрику для requirements phase (например, RDLT уточняет SENAR Lead Time на requirements phase).
- Добавляют наблюдения, специфичные для requirements engineering и не покрываемые SENAR §9 (Hallucination Rate, Multi-model Disagreement Rate).
Полный mapping — §13.7.
Закрытый список REQ-метрик (§13.3) сохраняется в рамках RENAR; SENAR §9 — отдельный закрытый список общих метрик. Изменение любого из двух списков — формально независимые change procedures соответствующих стандартов.
13.3 Closed list REQ-специфичных метрик
Закрытый список из десяти REQ-метрик. Изменение списка — только через formal change procedure стандарта (§14.9.3).
13.3.1 RDLT — Requirement Decomposition Lead Time
Что: время от регистрации ТЗ в substrate до состояния «все BR / SR (parent цепочка из этого ТЗ) находятся в статусе approved, готовы для passage QG-0 (§10.3.1)».
Формула: RDLT = timestamp(last BR/SR → approved) − timestamp(TZ registered). Измеряется в часах или днях.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-3 | < 1 неделя на 50-страничный ТЗ |
| RENAR-4 | < 2 дня |
| RENAR-5 | < 4 часа |
Источник данных: audit-trail событий promote-transitions (§10.13) substrate.
Связь с SENAR: уточнение SENAR Lead Time для requirements phase.
13.3.2 Requirement-to-Task Latency
Что: время от promote-transition SR в approved до создания первой TR со ссылкой implements: SR-N на этот SR.
Формула: Latency = timestamp(first TR.created) − timestamp(SR → approved). Измеряется в часах.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-3 | < 3 дня |
| RENAR-4 | < 1 день |
| RENAR-5 | < 1 час (substrate-нативный auto-create TR после approval) |
Источник данных: audit-trail substrate + cross-substrate ссылки реализационного substrate.
Связь с SENAR: уточнение SENAR Cycle Time для пары «requirement → executable task».
13.3.3 Hallucination Rate
Что: процент нормативных утверждений в AI-генерируемом артефакте (BR / SR / SPEC), которые не traceable к source (ТЗ / ADAPT / другой нормативный артефакт substrate). Source citation проверяется substrate-нативным citation parser (§14.3.1 RENAR-4 mandatory).
Формула: Hallucination Rate = assertions_without_valid_citation / total_normative_assertions × 100 %. Измеряется per артефакт; агрегируется per project.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-1, RENAR-2, RENAR-3 | n/a (citation parser не обязателен) |
| RENAR-4 | ≤ 5 % |
| RENAR-5 | ≤ 1 % |
Источник данных: substrate-нативный citation parser (AST-уровневый или regex по inline references вида [TZ-XXX §Y] / [ADAPT-NNN §Z]).
Связь с SENAR: новая метрика; SENAR не имеет аналога. Соответствует ISO/IEC 5338 «traceability requirement» для AI-generated artifacts.
Negative scenario (loss-of-conformance trigger): Hallucination Rate > 5 % на RENAR-4 проекте — нормативный trigger loss of conformance (§14.8.1); проект обязан либо устранить нарушение через release recovery plan, либо формально downgrade до RENAR-3.
13.3.4 Multi-model Disagreement Rate
Что: процент артефактов с priority: must, где две (или более) генерирующие AI-модели произвели нормативные утверждения с расхождением выше порога (по умолчанию: embedding similarity < 85 % на корпусе утверждений артефакта; порог фиксируется в conformance manifest declared-stricter).
Формула: Disagreement Rate = BRs_with_high_disagreement / total_must_BRs × 100 %.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-1..RENAR-4 | n/a |
| RENAR-5 | tracked; baseline устанавливается per-project в первом квартале |
Источник данных: substrate-нативный multi-model runs log; embedding-similarity computed offline по парам «artifact from model A vs from model B».
Связь с SENAR: новая метрика; не покрывается SENAR §9.
Интерпретация: высокий disagreement rate — индикатор либо слабого prompt-engineering (нужно улучшить), либо реально сложного domain (нужно увеличить human review). Не сам по себе негатив — требует attention.
13.3.5 DRA — Dispute Rate at Acceptance
Что: процент BR / SR, по которым на этапе passage QG-4 (§10.4.2) клиент заявил несогласие с интерпретацией или фактом покрытия требования.
Формула: DRA = disputed_BRs_at_QG4 / total_BRs_in_release × 100 %.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-3 | ≤ 10 % |
| RENAR-4 | ≤ 5 % |
| RENAR-5 | ≤ 2 % |
Источник данных: audit-trail QG-4 (§10.13) substrate — gate-id: QG-4 event с result: disputed маркером.
Связь с SENAR: уточнение SENAR DER (Defect Escape Rate) для зоны requirements (defect = mismatch между требованием и ожиданием клиента).
Применимость: метрика применима только в проектах, использующих QG-4 (Acceptance Gate). При QG-4 = absent в conformance manifest (§14.3.6) — метрика не измеряется.
13.3.6 ACR — Adversarial Catch Rate
Что: процент артефактов (BR / SR / SPEC), где AI-критик (вторая модель, отличная от primary; обязательна на RENAR-5 per §12.8.1) нашёл ≥ 1 high-severity issue до passage QG-0.
Формула: ACR = artifacts_with_critic_high_findings / total_reviewed_by_critic × 100 %.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-1..RENAR-3 | n/a (adversarial critic не обязателен) |
| RENAR-4 | optional (критик не нормативно обязателен на RENAR-4 per §12.7); если внедрён через declared-stricter (§14.4.2) — baseline 20–30 % (значения ниже 20 % — индикатор слабого критика или дублирования primary) |
| RENAR-5 | tracked normatively; рост ACR требует attention к качеству prompts primary модели |
Источник данных: audit-trail critic-runs substrate; severity classification (high / medium / low) фиксируется в critic output.
Связь с SENAR: подкласс SENAR ADR (Adversarial Detection Rate) для зоны requirements.
13.3.7 Test-spec Drift Rate
Что: процент TC в статусе passing (§10.9.1), у которых last-run.requirement-version (§9.12) отличается от текущей version верифицируемого артефакта (verifies[]).
Формула: Drift Rate = stale_passing_TCs / total_passing_TCs × 100 %. Stale = last-run.requirement-version < текущей.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-1..RENAR-3 | n/a |
| RENAR-4 | ≤ 5 % |
| RENAR-5 | ≤ 1 % (substrate-нативный auto-rerun на delta-ADAPT) |
Источник данных: COVERAGE-artifact (§9.15) auto-generated substrate.
Связь с SENAR: новая метрика; не покрывается SENAR §9.
13.3.8 Coverage Velocity
Что: темп перехода approved артефактов в verified (§10.5) за единицу времени (по умолчанию — за спринт; substrate может определить другой интервал).
Формула: Velocity = (verified_count(end) − verified_count(start)) / approved_count(start) × 100 %. Измеряется за spring period.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-3 | ≥ 30 % за спринт |
| RENAR-4 | ≥ 50 % за спринт |
| RENAR-5 | ≥ 70 % за спринт |
Источник данных: COVERAGE-artifact history (§9.15) substrate.
Связь с SENAR: уточнение SENAR Throughput для requirements phase.
13.3.9 Cost per Approved Requirement
Что: стоимость AI-генерации (input tokens + output tokens × tariff модели) приведённая к одному артефакту в статусе approved, включая отвергнутые версии (которые остаются в substrate за счёт V1 immutable history).
Формула: Cost-per-Requirement = total_AI_tokens_cost(period) / count(artifacts_approved_in_period). Измеряется в валюте проекта.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-1..RENAR-3 | n/a (затраты не отслеживаются обязательно) |
| RENAR-4 | tracked; baseline устанавливается per-project |
| RENAR-5 | tracked + optimization target (year-over-year снижение либо обоснование) |
Источник данных: ai-provenance.cost-budget и ai-provenance.cost-actual поля frontmatter артефактов (§12.7.1) substrate.
Связь с SENAR: уточнение SENAR Cost-per-task для requirements phase.
13.3.10 Reconciliation Findings per Week
Что: количество issues, обнаруженных reconciliation-агентом (§5.4.2 continuous reconciliation) за неделю и зарегистрированных как backward findings в delta-ADAPT либо как direct change-set requirement.
Формула: Findings/Week = count(reconciliation_findings_registered) / weeks_in_period.
Цели по уровням:
| Уровень | Целевое значение |
|---|---|
| RENAR-1..RENAR-3 | n/a (reconciliation hook не обязателен) |
| RENAR-4 | tracked; не ноль (если ноль — reconciliation hook не работает либо substrate потерял V5) |
| RENAR-5 | trending down в долгосрочной перспективе (зрелый процесс не порождает новых drift) |
Источник данных: audit-trail reconciliation runs substrate; backward findings list ADAPT (§7.4.5).
Связь с SENAR: новая метрика; не покрывается SENAR §9.
13.4 Сводная таблица целей по уровням
Закрытый список 10 метрик из §13.3 — целевые значения по применимым уровням.
| Метрика | RENAR-3 | RENAR-4 | RENAR-5 | Источник данных |
|---|---|---|---|---|
| RDLT (Decomposition Lead Time) | < 1 неделя | < 2 дня | < 4 часа | promote-transitions audit-trail |
| Requirement-to-Task Latency | < 3 дня | < 1 день | < 1 час | audit-trail + cross-substrate refs |
| Hallucination Rate | n/a | ≤ 5 % | ≤ 1 % | citation parser |
| Multi-model Disagreement Rate | n/a | n/a | tracked | multi-model runs log |
| DRA (Dispute Rate at Acceptance) | ≤ 10 % | ≤ 5 % | ≤ 2 % | QG-4 audit-trail (если QG-4 declared) |
| ACR (Adversarial Catch Rate) | n/a | optional (если critic declared-stricter) | tracked normatively | critic-runs audit-trail |
| Test-spec Drift Rate | n/a | ≤ 5 % | ≤ 1 % | COVERAGE-artifact |
| Coverage Velocity | ≥ 30 %/спринт | ≥ 50 %/спринт | ≥ 70 %/спринт | COVERAGE history |
| Cost per Approved Requirement | n/a | tracked | tracked + optimized | ai-provenance fields |
| Reconciliation Findings/Week | n/a | tracked (> 0) | trending down | reconciliation audit-trail |
Конкретное substrate-нативное представление этих метрик в dashboards — substrate-specific и выносится в guide/.
13.5 Business outcomes
Шесть нормативных эффектов внедрения RENAR, ожидаемых на уровнях RENAR-3 и выше. Outcomes являются нормативными ожиданиями стандарта, не индикаторами процесса; их измерение — substrate-specific и не обязательно (хотя §13.3 метрики косвенно их фиксируют).
13.5.1 Outcome 1 — Сокращение времени декомпозиции ТЗ
Измеряется через §13.3.1 RDLT. Ожидаемое сокращение от baseline (без RENAR): порядок 5–10× на RENAR-4, 20–50× на RENAR-5.
13.5.2 Outcome 2 — Снижение dispute rate на приёмке
Измеряется через §13.3.5 DRA. Ожидаемое снижение от baseline: с 15–30 % до ≤ 5 % на RENAR-4, ≤ 2 % на RENAR-5.
13.5.3 Outcome 3 — Аудиторская готовность
Audit-trail событий (§10.13) substrate + AI-provenance во frontmatter (§12.7.1) обеспечивают возможность compliance audit без отдельной подготовительной работы. Применимо для regulated industries (медицина, финтех, госсектор).
13.5.4 Outcome 4 — Снижение стоимости работы с клиентскими delta-ТЗ
Substrate-нативный impact analysis (§9.16) + reverse-эволюция верификации (§10.5.4) автоматизируют обработку delta-ТЗ. Ожидаемое сокращение human attention: с десятков часов до часа на delta.
13.5.5 Outcome 5 — Снижение knowledge-loss при смене команды
V6 author + timestamp (§11.3.6) фиксирует author всех артефактов и решений; SoT inversion (§5.3.1) переносит knowledge из головы в substrate. Ожидаемое сокращение onboarding нового члена команды: с недель до дней.
13.5.6 Outcome 6 — Стандарт как продаваемый продукт
При достижении RENAR-4 / RENAR-5 substrate-нативная реализация стандарта может быть лицензирована / продана партнёрам как самостоятельный actionable продукт. Этот outcome — не процессная метрика, а структурное следствие formal standard.
13.6 Substrate-agnostic сбор метрик
13.6.1 Нормативные требования
Substrate, реализующий RENAR на уровне RENAR-4 и выше, обязан обеспечить автоматический сбор §13.3 метрик через:
| Источник | Опора на capabilities | Что обязано быть accessible |
|---|---|---|
| Audit-trail событий (§10.13) | V1 + V6 | List of gate-passage events с timestamps, artifact-version, actor |
| COVERAGE-artifact (§9.15) | V5 + V1 | Counts: approved / verified / total; pos/neg coverage percent; stale-rate |
| AI-provenance frontmatter fields | V6 | cost-budget, cost-actual, generated-by (model id), generated-at |
| Reconciliation audit-trail | V1 + V6 | List of reconciliation runs с findings list ID |
| Critic-runs audit-trail (RENAR-5) | V1 + V6 | List of critic runs с severity classifications |
Substrate, не обеспечивающий доступ к любому из источников выше, не может реализовать RENAR-4 или RENAR-5 (§12.7.1, §12.8.1).
13.6.2 Substrate-specific dashboards
Формат dashboards (UI / CLI / report-generation) — substrate-specific. Стандарт не нормирует визуализацию метрик. Substrate обязан экспортировать метрики в machine-readable формате (substrate-native) для целей внешнего аудита (§14.6 third-party assessment).
Конкретные шаблоны dashboard выносятся в guide/ для каждого поддерживаемого substrate.
13.6.3 Period aggregation
Метрики §13.3 агрегируются:
- Per артефакт — Hallucination Rate, Cost per Approved Requirement.
- Per period (sprint / неделя / месяц) — Coverage Velocity, Reconciliation Findings per Week, ACR.
- Per release — DRA.
- Continuous trending — Multi-model Disagreement Rate, Test-spec Drift Rate.
Конкретные period boundaries фиксируются в conformance manifest (§14.4.2) declared-stricter или принимаются по default стандарта.
13.7 Mapping на SENAR метрики
Полный mapping 10 SENAR §9 метрик с REQ-уточнениями из §13.3.
| SENAR метрика (§9) | REQ-уточнение из §13.3 |
|---|---|
| Throughput | + Coverage Velocity (§13.3.8) — на уровне требований |
| Lead Time | + RDLT (§13.3.1) — для requirements phase |
| FPSR (First-Pass Success Rate) | + REQ-FPSR (доля артефактов, прошедших QG-0 без переделки) — производное, не отдельная метрика §13.3 |
| DER (Defect Escape Rate) | + DRA (§13.3.5) — defects на приёмке |
| KCR (Knowledge Capture Rate) | (используется как есть; косвенно усиливается через §13.5.5 outcome) |
| Cost Predictability | + variance Cost per Approved Requirement (§13.3.9) |
| Cost-per-task | + Cost per Approved Requirement (§13.3.9) — для requirements phase |
| MIR (Memory Integrity Rate) | (используется как есть; усиливается через V1 + V6 на RENAR-4+) |
| Cycle Time | + RDLT (§13.3.1) + Requirement-to-Task Latency (§13.3.2) — оба внутри SENAR Cycle Time |
| ADR (Adversarial Detection Rate) | + ACR (§13.3.6) — adversarial для requirements зоны |
Метрики, не имеющие SENAR аналога (новые в RENAR):
- Hallucination Rate (§13.3.3) — специфична для AI-generated artifacts.
- Multi-model Disagreement Rate (§13.3.4) — специфична для multi-model генерации.
- Test-spec Drift Rate (§13.3.7) — специфика requirement-version pinning V5.
- Reconciliation Findings per Week (§13.3.10) — специфика continuous reconciliation.
13.8 Связь с другими главами
| Глава | Связь |
|---|---|
| 05 Положение в типологии методологий | §5.3 SoT inversion + §5.4.2 continuous reconciliation — фундамент для §13.3.10 Reconciliation Findings |
| 07 ADAPT | §7.4.5 backward findings — input для §13.3.10; delta-ADAPT — измеряется через §13.3.5 DRA |
| 08 Specifications | §8.5.7 SPEC-AI continuous evaluation — связана с §13.3.4 Multi-model Disagreement Rate |
| 09 Test cases | §9.12 last-run — input для §13.3.7 Drift Rate; §9.15 COVERAGE — источник для §13.3.8 Velocity и §13.3.7 |
| 10 Lifecycle и QG | §10.13 audit-trail событий — основа для всех §13.3 метрик; §10.4.2 QG-4 — gate, на котором фиксируется §13.3.5 DRA |
| 11 Substrate versioning | V1 + V5 + V6 — capabilities обязательные для substrate-нативного сбора §13.3 метрик (§13.6.1) |
| 12 Maturity model | §13.3 цели по уровням RENAR-3/4/5 — конкретизация уровневых критериев из §12.4–§12.8 |
| 14 Conformance | §13.3 метрики — input для §14.5 self-assessment; превышение порогов (например, Hallucination Rate > 5 % на RENAR-4) — trigger loss of conformance §14.8.1 |