russell@unturf.com
2c98fc964e
Three workstreams, full suite 2482 passed, experimental paths default-OFF. #000055 — Windows quickstart without make tasks.py (pure-stdlib runner) + make.bat shim + .gitattributes; README Windows section rewritten. Quickstart needs only Python 3.10+ (no make/bzip2/curl/bash). Mirrors the Makefile quickstart subset; drift-pinned by tests/test_tasks_runner.py. #000001 §7 Phase 0 — deterministic cross-language guard arborist/qa/crosslang.py: non-English signal (¿/¡/non-ASCII) + an es function-word stoppack. Fail-closed to UNGROUNDED before retrieval/LLM (mirrors the quantifier reject-DAG) when no content token survives, else strips es stopwords from the retrieval query only. English path byte-identical by construction. Default OFF (crosslang_guard_enabled). Measured: the anarcocapitalismo field case 10.4s -> 1.6s. #000056 — Operation Sandwich (cross-language grounding) arborist/qa/mt/: opus-mt es/fr/ru<->en, lazy per-pair memoised singleton (fixes the 88%-engine-error concurrency defect), manifest-pinned, [mt] extra; entity_mask wrapper. Sandwich = translate query in (retrieval + LLM prompt) -> English answer -> UNTOUCHED verifier grounds English-vs-English -> translate the verified answer out as display-only (banner-labelled, zero grounding). question_hash + verifier_policy_hash invariant; MT engine identity binds into RetrievalPlan, not governance. CLI --crosslang-translate / make XLANG_MT=1. Default OFF; entity_mask default OFF (measured net-negative at bench scale). Fan-out bench (bench/*.py): Spanish ~0% -> 71% grounded vs the real no-support baseline; the round-trip predictor was tried and refuted; the entity-mask lever failed at scale (corpus-title anchoring untried). CLAUDE.md: cross-language bright-line convention + module map. Pre-existing modified diagram files are intentionally excluded.
157 lines
7 KiB
Text
157 lines
7 KiB
Text
# AUTO-GENERATED from bench/qa_questions.txt via Helsinki-NLP/opus-mt-en-es (#000056 Operation Sandwich).
|
|
# Do not hand-edit — regenerate: python3 bench/make_es_questions.py
|
|
|
|
# arborist QA-quality benchmark question set.
|
|
#
|
|
# One question per line. `#`-prefixed lines and blank lines ignored.
|
|
# Designed for the 2003-05-16 Wikipedia cur snapshot — questions must
|
|
# resolve against ~2003 article content. Stress-tests across the
|
|
# failure-mode shapes the verifier needs to handle.
|
|
|
|
# narrow factoid — well-anchored single-fact questions
|
|
¿Cuál es la capital de Francia?
|
|
¿Quién escribió GNU Linux?
|
|
¿Cuándo se creó un lenguaje de programación llamado Python?
|
|
¿Quién pintó la Mona Lisa?
|
|
un puente entre el nuevo Londres y Groton?
|
|
¿Quién escribió la aldea de juegos?
|
|
¿Cuál es el símbolo químico para el oro?
|
|
|
|
# broad descriptive — encyclopedic shape, prone to mode-collapse
|
|
hábleme de connecticut
|
|
Háblame del lenguaje de programación C
|
|
¿Hablarme del hombre del método?
|
|
Dime todo lo que hay que saber sobre York Inglaterra?
|
|
Háblame del imperio romano.
|
|
describir la estructura del ADN
|
|
|
|
# under-specified "all" — the word "all" reads to Hermes-3-8B as
|
|
# license to enumerate every adjacent fact in training prior, which
|
|
# in claim_lattice_pointer mode degrades to free-form prose with zero
|
|
# `[E\d+]` tags (FORMAT_COLLAPSED soft-demote, 2026-05-02). Stronger
|
|
# models (Qwen / GPT-4 family) plausibly recover format discipline
|
|
# under the same prompt — bench coverage of this shape lets us
|
|
# measure cross-model resilience. Ticket #000008 (broad-quantifier
|
|
# preflight guard) proposes upstream classification + per-model
|
|
# claim ceiling.
|
|
¿ganadores de todos los deportes importantes?
|
|
|
|
# bounded universals — finite, corpus-known answer sets. Ticket
|
|
# #000008 §10.1 splits broad universals into bounded vs unbounded.
|
|
# These should classify ALL but with `scope_bound_hint: "bounded"`,
|
|
# meaning --reject-broad does NOT reject and the cap is the natural
|
|
# bound. Without these fixtures, the bounded-vs-unbounded distinction
|
|
# has no live bench coverage.
|
|
nombre a todos los miembros de los beatles
|
|
lista todos los planetas en el sistema solar
|
|
|
|
# entity list — invites lazy-anchor on a magnet chunk
|
|
¿Qué eran los dinosaurios en la primera película del parque jurásico?
|
|
¿Quiénes son los miembros de los Beatles?
|
|
nombre simpsons miembros de la familia incluyendo mascotas?
|
|
lista de obelisco en connecticut
|
|
¿Cuáles son los planetas de nuestro sistema solar?
|
|
¿Quiénes fueron los siete astronautas de mercurio originales?
|
|
|
|
# relationship / multi-fact
|
|
¿Quién es la novia de Supermans?
|
|
¿Quién es el sobrino de Bilbo Baggins?
|
|
¿Cuál es la relación entre linux & unix?
|
|
¿Quién es Veronica Ballestrini y qué mes nació?
|
|
¿Quién es el padre y la hermana de Luke Skywalker?
|
|
|
|
# comparison — multi-entity, prone to attribution drift
|
|
¿Cuál es la diferencia entre Linux y Bsd?
|
|
¿Cómo se compara la información con la amd?
|
|
¿Cuál es la diferencia entre http y ftp?
|
|
mac vs ventanas para el desarrollo de software
|
|
|
|
# niche / partial — corpus may be thin
|
|
¿Cuál es la constante de perntzmann?
|
|
¿Quién inventó el efecto doppler?
|
|
|
|
# date / time — when-questions stress year/date grounding
|
|
¿Cuándo terminó la Segunda Guerra Mundial?
|
|
¿En qué año cayó el muro de Berlín?
|
|
¿Cuándo fue el primer alunizaje?
|
|
¿Cuándo se disuelve la unión soviética?
|
|
¿En qué año se firmó la carta magna?
|
|
|
|
# quantity — numeric grounding, prone to confabulated digits
|
|
¿Cuántos estados hay en los Estados Unidos?
|
|
¿Cuántos huesos hay en el cuerpo humano adulto?
|
|
¿Cuál es la población de Japón?
|
|
¿Cuántas esposas tenía Henry la octava?
|
|
¿Cuántas lunas tiene Jupiter?
|
|
|
|
# geographic — where / what country / location grounding
|
|
¿Dónde se encuentra el monte kilimanjaro?
|
|
¿En qué país está la ciudad de Praga?
|
|
¿En qué océano está Madagascar?
|
|
¿Dónde comienza el río Nile?
|
|
¿En qué continente está Egipto?
|
|
|
|
# cause / effect — why-questions, narrative grounding
|
|
¿Por qué se hundió el titánico?
|
|
¿Qué causó el desastre de Chernobyl?
|
|
¿Por qué los dinosaurios se extinguieron?
|
|
¿Qué desencadenó la Primera Guerra Mundial?
|
|
|
|
# entity disambiguation — common names that collide with many entities
|
|
¿Quién es Michael Jordan?
|
|
¿Quién es George Bush?
|
|
¿Quién es John Smith de Jamestown?
|
|
¿Qué es la matriz?
|
|
¿Quién es Paul de Tarso?
|
|
|
|
# synonym / paraphrase robustness — same fact, different phrasing.
|
|
# Pairs probe whether equivalence_class question dedup collapses these
|
|
# at write & whether retrieval grounds them identically.
|
|
¿Quién fundó microsoft?
|
|
¿Quién es el fundador de microsoft?
|
|
¿Cuándo se construyó la torre eifel?
|
|
¿En qué año se construyó la torre Eiffel?
|
|
|
|
# leading / forensic — probe whether retrieval surfaces the right
|
|
# fact when the question's premise contradicts the popular narrative.
|
|
# Elevation question expected answer: north (per geographic surveys);
|
|
# corpus grounding may be shaky — coverage check can pass on
|
|
# topical-token overlap without the cited span containing the
|
|
# elevation fact, so this also stress-tests lazy-anchor STRICT.
|
|
¿De qué lado es la elevación del suelo más alta a lo largo de la gran pared de China, el norte o el sur?
|
|
ballenas están en peligro de extinción por la caza excesiva
|
|
¿Napoleón realmente murió en Santa Helena?
|
|
|
|
# out-of-corpus — should land UNGROUNDED honestly
|
|
¿Quién es un dictador benevolente de por vida para Marte?
|
|
¿En qué año se produce nuestra fusión fría?
|
|
¿Quién ganó las elecciones presidenciales de 2024?
|
|
¿Cuál es la última versión del ipad pro?
|
|
|
|
# allusion / reference frame — the diagnostic signal is a verbatim
|
|
# multi-token sequence, not the individual content tokens. Pure-BM25
|
|
# on tokens will surface literal-frame articles (Oceania the region,
|
|
# Asia the continent) instead of the reference (Nineteen Eighty-Four).
|
|
# The phrase-pattern retrieval route (commit 2026-05-01) targets this
|
|
# class. Bench reveals prevalence of the failure mode + whether the
|
|
# fix generalizes beyond Orwell.
|
|
¿Oceania siempre ha estado en guerra con Asia oriental?
|
|
¿Quién dijo que la fuerza podría estar contigo?
|
|
¿Qué significa el invierno?
|
|
¿Cuál es el significado de Rosebud?
|
|
¿Quién dijo ser o no ser esa es la pregunta?
|
|
¿Qué es lo que el pastel es una referencia de mentira?
|
|
|
|
# hyphenation / orthography — query and corpus use different hyphen
|
|
# conventions for the same concept. FTS5 `unicode61` splits on hyphen
|
|
# at index AND query time, so `bi-polar` (the orthography many
|
|
# English readers actually use) tokenizes to [bi, polar] while the
|
|
# Wikipedia article `Bipolar disorder` tokenizes to [bipolar]. Two
|
|
# non-overlapping token sets for the same medical condition. The
|
|
# query-layer hyphen-fold (Ticket #000007, 2026-05-02) closes this
|
|
# class by emitting joined-no-hyphen variants on the query side and
|
|
# adding a hyphen-anchor accept path in `_filter_by_title_relevance`.
|
|
# Pre-fix: only Bi-Polar (album) / Bi-Polar Blues / BI disambiguation
|
|
# surfaced; the medical-condition cluster never reached the LLM.
|
|
# Post-fix: `Bipolar disorder` lands in top-K and grounds the answer.
|
|
¿El bipolar es raro?
|