論文の概要: VERITYGATE: A Four-Gate Schema-Level Faithfulness Framework and Paired Benchmark for Grounded LLM Narrations over Structured Evidence
- arxiv url: http://arxiv.org/abs/2610.00833v1
- Date: Wed, 30 Sep 2026 23:44:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.808445
- Title: VERITYGATE: A Four-Gate Schema-Level Faithfulness Framework and Paired Benchmark for Grounded LLM Narrations over Structured Evidence
- Title（参考訳）: VERITYGATE: 構造化されたエビデンスに対する4段階のスキーマレベル忠実度フレームワークとLLMナレーション評価ベンチマーク
- Abstract要約: 我々は,証拠ID,エンティティ,番号,クレームタイプを宣言する4つのゲートチェッカーであるVERITYGATEを提示する。
r=1では、ゲート4は97.0%、98.7%、ミニ、ラマ、ソネットの主張の100%をカバーしている。
小さな人間の研究はルールをサポートしているが、スキーマチェックと正しい散文の間にはギャップがある。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fluent LLM explanations may not follow the evidence from a structured system. We present VERITYGATE, a four-gate checker for declared evidence IDs, entities, numbers, and claim types. It checks a fixed schema; it does not verify every fact in the prose. At r=0 and r=1, we test 900 instances per setting (450 grounded-ungrounded pairs) with GPT-4o-mini, Llama-3.3-70B, and Claude Sonnet 4.6. Under this schema-level contract and before repair, 80.3% of mini claims and 47.9% of Sonnet claims fail. These are verifier rejection rates, not prose-hallucination rates. One repair pass raises claim survival from 19.7% to 28.0% for mini and from 52.1% to 54.3% for Sonnet. Verified claims per example change by +0.14 for mini, -0.71 for Llama, and -0.47 for Sonnet, so survival and output volume must be reported together. A second Sonnet pass gives no clear gain. At r=1, Gate 4 covers 97.0%, 98.7%, and 100% of failing claims for mini, Llama, and Sonnet. Small human studies support the rules but show gaps between schema checks and correct prose. A domain-specific GPT-4o judge test shows an order effect, so it is only a usefulness check. We release the code and data.
- Abstract（参考訳）: ゆるやかなLSMの説明は、構造化されたシステムからの証拠に従わないかもしれない。
我々は,証拠ID,エンティティ,番号,クレームタイプを宣言する4つのゲートチェッカーであるVERITYGATEを提示する。
固定スキーマをチェックし、散文のすべての事実を検証しません。
r=0 と r=1 では、GPT-4o-mini、Llama-3.3-70B、Claude Sonnet 4.6 を用いて、設定あたり900 のインスタンスをテストした。
このスキーマレベルの契約と修理の前に、80.3%のミニクレームと47.9%のソネットのクレームが失敗した。
これらは証明者拒否率であり、散発的幻覚率ではない。
1回の修理は、ミニで19.7%から28.0%、ソネットで52.1%から54.3%まで、請求の生存率を高めている。
Llamaは-0.71、Sonnetは-0.47である。
第2のソネットパスは明確な利得を与えない。
r=1では、ゲート4は97.0%、98.7%、ミニ、ラマ、ソネットの主張の100%をカバーしている。
小さな人間の研究はルールをサポートしているが、スキーマチェックと正しい散文の間にはギャップがある。
ドメイン固有のGPT-4o判定テストは順序効果を示すので、有用性チェックに過ぎない。
コードとデータをリリースします。
関連論文リスト
- Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation [0.0]
ソースオーソリティ勾配に沿って配置された5つの汚染プロトコルを紹介する。
GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Airを温度0で10個の知識領域にわたって評価した。
論文 参考訳（メタデータ） (2026-09-28T14:46:00Z) - CLAP: Closed-Loop Alignment with Pressure for Precise Suction Manipulation [50.72629909392354]
本稿では,真空ラインにタップされた圧力モジュールを通してアタッチメント状態を観測できるCLAPを提案する。
データについては、物理ロボット上でゴール状態の分解を記録し、関節状態のシーケンスをオフラインで反転させる。
実際のUnitree Z1では、1つのマルチタスクチェックポイントが96.67%に達する。
論文 参考訳（メタデータ） (2026-09-26T16:40:23Z) - SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。
SWE-bench Verified に適用すると SWE-Proof が得られる。
論文 参考訳（メタデータ） (2026-09-18T01:16:53Z) - When Graph-JEPA Learns the Wrong Thing: Diagnosing and Repairing Category-Conditional Collapse [3.0255780640228984]
共同埋め込み予測アーキテクチャは線形探索と有効ランクによってほぼ普遍的に選択される。
本報告では,表現中に使用可能なインスタンス情報がゼロである場合に,両者が正常に読まれる事例を報告する。
Graph-JEPAは、サブグラフの残りの側面から1つのマスクされたアスペクトを予測し、線形プローブ精度0.871と有効ランク18-47を達成する。
再現性監査とターゲットゲートを備えたハーネスをリリースする。
論文 参考訳（メタデータ） (2026-08-20T19:22:49Z) - FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact [0.0]
AIシステムは情報を常に書き直す:会話が記憶される記憶となり、ドキュメントが答えになる。
私たちはファクト・ウォッシングと呼んでいる。これはオープンソースのライトタイム・ゲートで、判断的にそれをキャッチし、裁判官ではなく、名前のついた旗や証拠を持っています。
コストの安いチェックはいつ,モデルが必要なのか?
論文 参考訳（メタデータ） (2026-08-04T09:20:54Z) - Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。
モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
論文 参考訳（メタデータ） (2026-08-02T05:00:44Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Grounded Continuation: A Linear-Time Runtime Verifier for LLM Conversations [15.537674351419234]
デプロイされたエージェントに対するコンテキスト操作攻撃は、このギャップを積極的に活用する。
明示的な依存性グラフを保持するランタイム検証器でそれをクローズします。
継続がサポートされるかどうかを確認することは、グラフウォークに還元され、リトラクションは同じグラフを通して、サポートを失う結論を正確に宣言する。
論文 参考訳（メタデータ） (2026-05-13T22:54:16Z) - Recon, Answer, Verify: Agents in Search of Truth [36.56689822791777]
Politi Fact Only (PFO)は、politifact.comの2,982件の政治的主張のベンチマークデータセットである。
すべてのポストクレーム分析とアノテーションキューが手作業で削除された。
本稿では,質問生成,回答生成,ラベル生成という3つのエージェントからなるエージェントフレームワークであるRAVを提案する。
論文 参考訳（メタデータ） (2025-07-04T15:44:28Z) - High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning [84.52940628494879]
大規模言語モデル(LLM)は現在、すべてのプロンプトに応答する。
LLMは、知識や能力の欠如によって、誤った答えを生み出すことができる。
本稿では,その正確性に自信を持った場合にのみコンテンツを生成するためのLCMのポストトレーニングを提案する。
論文 参考訳（メタデータ） (2025-06-04T15:16:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。