russell@unturf.com
2c98fc964e
Three workstreams, full suite 2482 passed, experimental paths default-OFF. #000055 — Windows quickstart without make tasks.py (pure-stdlib runner) + make.bat shim + .gitattributes; README Windows section rewritten. Quickstart needs only Python 3.10+ (no make/bzip2/curl/bash). Mirrors the Makefile quickstart subset; drift-pinned by tests/test_tasks_runner.py. #000001 §7 Phase 0 — deterministic cross-language guard arborist/qa/crosslang.py: non-English signal (¿/¡/non-ASCII) + an es function-word stoppack. Fail-closed to UNGROUNDED before retrieval/LLM (mirrors the quantifier reject-DAG) when no content token survives, else strips es stopwords from the retrieval query only. English path byte-identical by construction. Default OFF (crosslang_guard_enabled). Measured: the anarcocapitalismo field case 10.4s -> 1.6s. #000056 — Operation Sandwich (cross-language grounding) arborist/qa/mt/: opus-mt es/fr/ru<->en, lazy per-pair memoised singleton (fixes the 88%-engine-error concurrency defect), manifest-pinned, [mt] extra; entity_mask wrapper. Sandwich = translate query in (retrieval + LLM prompt) -> English answer -> UNTOUCHED verifier grounds English-vs-English -> translate the verified answer out as display-only (banner-labelled, zero grounding). question_hash + verifier_policy_hash invariant; MT engine identity binds into RetrievalPlan, not governance. CLI --crosslang-translate / make XLANG_MT=1. Default OFF; entity_mask default OFF (measured net-negative at bench scale). Fan-out bench (bench/*.py): Spanish ~0% -> 71% grounded vs the real no-support baseline; the round-trip predictor was tried and refuted; the entity-mask lever failed at scale (corpus-title anchoring untried). CLAUDE.md: cross-language bright-line convention + module map. Pre-existing modified diagram files are intentionally excluded.
157 lines
7 KiB
Text
157 lines
7 KiB
Text
# AUTO-GENERATED from qa_questions.txt via opus-mt-en-fr (#000056).
|
|
# Regenerate: python3 bench/make_lang_questions.py fr
|
|
|
|
# arborist QA-quality benchmark question set.
|
|
#
|
|
# One question per line. `#`-prefixed lines and blank lines ignored.
|
|
# Designed for the 2003-05-16 Wikipedia cur snapshot — questions must
|
|
# resolve against ~2003 article content. Stress-tests across the
|
|
# failure-mode shapes the verifier needs to handle.
|
|
|
|
# narrow factoid — well-anchored single-fact questions
|
|
Quelle est la capitale de la France ?
|
|
Qui a écrit GNU Linux ?
|
|
Quand un langage de programmation nommé Python a-t-il été créé ?
|
|
Qui a peint la mona lisa ?
|
|
un pont entre le nouveau London & Groton?
|
|
Qui a écrit le hameau de jeu ?
|
|
Quel est le symbole chimique de l'or ?
|
|
|
|
# broad descriptive — encyclopedic shape, prone to mode-collapse
|
|
Parlez-moi du connecticut
|
|
Parlez-moi du langage de programmation C
|
|
Parle-moi de l'homme de méthode ?
|
|
Dis-moi tout ce qu'il y a à savoir sur york england ?
|
|
Parlez-moi de l'empire romain.
|
|
décrire la structure de l'ADN
|
|
|
|
# under-specified "all" — the word "all" reads to Hermes-3-8B as
|
|
# license to enumerate every adjacent fact in training prior, which
|
|
# in claim_lattice_pointer mode degrades to free-form prose with zero
|
|
# `[E\d+]` tags (FORMAT_COLLAPSED soft-demote, 2026-05-02). Stronger
|
|
# models (Qwen / GPT-4 family) plausibly recover format discipline
|
|
# under the same prompt — bench coverage of this shape lets us
|
|
# measure cross-model resilience. Ticket #000008 (broad-quantifier
|
|
# preflight guard) proposes upstream classification + per-model
|
|
# claim ceiling.
|
|
Les gagnants de tous les grands sports ?
|
|
|
|
# bounded universals — finite, corpus-known answer sets. Ticket
|
|
# #000008 §10.1 splits broad universals into bounded vs unbounded.
|
|
# These should classify ALL but with `scope_bound_hint: "bounded"`,
|
|
# meaning --reject-broad does NOT reject and the cap is the natural
|
|
# bound. Without these fixtures, the bounded-vs-unbounded distinction
|
|
# has no live bench coverage.
|
|
nommez tous les membres des Beatles
|
|
lister toutes les planètes du système solaire
|
|
|
|
# entity list — invites lazy-anchor on a magnet chunk
|
|
Quels dinosaures étaient dans le premier film du parc jurassique ?
|
|
Qui sont les membres des Beatles ?
|
|
nom sipsons membres de la famille, y compris les animaux de compagnie?
|
|
liste de l'obélisque dans le connecticut
|
|
Quelles sont les planètes de notre système solaire ?
|
|
Qui étaient les sept astronautes du mercure d'origine ?
|
|
|
|
# relationship / multi-fact
|
|
Qui est la petite amie des supermans ?
|
|
Qui est le neveu de Bilbo Baggins ?
|
|
Quelle est la relation entre linux & unix ?
|
|
qui est veronica ballestrini et quel mois est-elle née ?
|
|
Qui est le père et la sœur de Luke Skywalker ?
|
|
|
|
# comparison — multi-entity, prone to attribution drift
|
|
Quelle est la différence entre linux et bsd ?
|
|
Comment l'intelligence se compare-t-elle à l'amd ?
|
|
Quelle est la différence entre http et ftp?
|
|
mac vs windows pour le développement de logiciels
|
|
|
|
# niche / partial — corpus may be thin
|
|
Qu'est-ce que la constante de Boltzmann ?
|
|
Qui a inventé l'effet doppler ?
|
|
|
|
# date / time — when-questions stress year/date grounding
|
|
Quand la Seconde Guerre mondiale a-t-elle pris fin ?
|
|
Quelle année le mur de Berlin est-il tombé ?
|
|
Quand est-ce que la première lune a atterri ?
|
|
Quand l'union soviétique s'est-elle dissoute ?
|
|
En quelle année la magna carta a-t-elle été signée ?
|
|
|
|
# quantity — numeric grounding, prone to confabulated digits
|
|
Combien d'États sont dans les États-Unis?
|
|
Combien d'os sont dans le corps humain adulte ?
|
|
Quelle est la population du Japon ?
|
|
Combien de femmes henry la huitième avait-elle ?
|
|
Combien de lunes Jupiter a-t-il ?
|
|
|
|
# geographic — where / what country / location grounding
|
|
Où se trouve le mont Kilimanjaro ?
|
|
Dans quel pays est la ville de la prague ?
|
|
Dans quel océan est Madagascar ?
|
|
Où commence la rivière nile ?
|
|
Sur quel continent s'agit - il?
|
|
|
|
# cause / effect — why-questions, narrative grounding
|
|
Pourquoi le titanic a coulé ?
|
|
Qu'est-ce qui a causé le désastre du chernobyl ?
|
|
Pourquoi les dinosaures ont disparu ?
|
|
Qu'est-ce qui a déclenché la Première Guerre mondiale ?
|
|
|
|
# entity disambiguation — common names that collide with many entities
|
|
Qui est Michael Jordan ?
|
|
Qui est George Bush ?
|
|
Qui est John Smith de Jamestown ?
|
|
Qu'est-ce que la matrice ?
|
|
Qui est paul de tarse ?
|
|
|
|
# synonym / paraphrase robustness — same fact, different phrasing.
|
|
# Pairs probe whether equivalence_class question dedup collapses these
|
|
# at write & whether retrieval grounds them identically.
|
|
Qui a fondé le microsoft ?
|
|
Qui est le fondateur du microsoft ?
|
|
Quand la tour Eiffel a-t-elle été construite ?
|
|
Quelle année la tour Eiffel a-t-elle été construite ?
|
|
|
|
# leading / forensic — probe whether retrieval surfaces the right
|
|
# fact when the question's premise contradicts the popular narrative.
|
|
# Elevation question expected answer: north (per geographic surveys);
|
|
# corpus grounding may be shaky — coverage check can pass on
|
|
# topical-token overlap without the cited span containing the
|
|
# elevation fact, so this also stress-tests lazy-anchor STRICT.
|
|
Quel côté est l'altitude du sol la plus élevée sur toute la étendue du grand mur de Chine, au nord ou au sud?
|
|
Les baleines sont menacées par la chasse.
|
|
Le napoléon est-il vraiment mort sur saint Hélène ?
|
|
|
|
# out-of-corpus — should land UNGROUNDED honestly
|
|
Qui est un dictateur bienveillant à vie pour Mars ?
|
|
Quelle est l'année de notre percée dans la fusion froide?
|
|
Qui a gagné l'élection présidentielle de 2024 ?
|
|
Quelle est la dernière version de l'ipad pro ?
|
|
|
|
# allusion / reference frame — the diagnostic signal is a verbatim
|
|
# multi-token sequence, not the individual content tokens. Pure-BM25
|
|
# on tokens will surface literal-frame articles (Oceania the region,
|
|
# Asia the continent) instead of the reference (Nineteen Eighty-Four).
|
|
# The phrase-pattern retrieval route (commit 2026-05-01) targets this
|
|
# class. Bench reveals prevalence of the failure mode + whether the
|
|
# fix generalizes beyond Orwell.
|
|
oceania a toujours été en guerre avec l'Asie de l'Est ?
|
|
Qui a dit que la force pourrait être avec vous ?
|
|
Qu'est-ce que l'hiver va signifier ?
|
|
Quelle est la signification de rosebud?
|
|
Qui a dit qu'il s'agissait ou non de cette question?
|
|
Qu'est-ce que le gâteau est une référence mensongère?
|
|
|
|
# hyphenation / orthography — query and corpus use different hyphen
|
|
# conventions for the same concept. FTS5 `unicode61` splits on hyphen
|
|
# at index AND query time, so `bi-polar` (the orthography many
|
|
# English readers actually use) tokenizes to [bi, polar] while the
|
|
# Wikipedia article `Bipolar disorder` tokenizes to [bipolar]. Two
|
|
# non-overlapping token sets for the same medical condition. The
|
|
# query-layer hyphen-fold (Ticket #000007, 2026-05-02) closes this
|
|
# class by emitting joined-no-hyphen variants on the query side and
|
|
# adding a hyphen-anchor accept path in `_filter_by_title_relevance`.
|
|
# Pre-fix: only Bi-Polar (album) / Bi-Polar Blues / BI disambiguation
|
|
# surfaced; the medical-condition cluster never reached the LLM.
|
|
# Post-fix: `Bipolar disorder` lands in top-K and grounds the answer.
|
|
Le bipolaire est rare ?
|