論文の概要: Output Discipline Sets the Floor: A Falsification-Guided, Model-Agnostic Agent Protocol for Auditable Hypothesis-Driven Decision Making
- arxiv url: http://arxiv.org/abs/2610.18298v1
- Date: Tue, 13 Oct 2026 12:46:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.612889
- Title: Output Discipline Sets the Floor: A Falsification-Guided, Model-Agnostic Agent Protocol for Auditable Hypothesis-Driven Decision Making
- Title（参考訳）: フローの出力ディシプリンはFalsification-Guided, Model-Agnostic Agent Protocol for Auditable hypothesis-Driven Decision Making
- Abstract要約: 意思決定を5段階閉ループとして定式化するモデルに依存しないエージェント・フレームワークをテストする。
全ての候補者はすべての証拠項目に対して判断され、少なくとも半数の候補者は、結論が認可される前に偽造されなければならない。
5つの基本モデルにまたがって、この効果はゼロショット出力の規律に対する符号条件である。
- 参考スコア（独自算出の注目度）: 6.722659018729722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What binds large language models on auditable, hypothesis-driven decision tasks, where every candidate can be checked against the evidence? On the public TCMEval-SDT benchmark for Traditional Chinese Medicine syndrome differentiation (200 cases), the binding constraint is output discipline and reasoning structure, not model capability alone: two years of model scaling move zero-shot scores by only -0.03 to +0.08, while output-discipline failures (non-terminating reasoning, format non-compliance, large run-to-run spread) persist even in frontier models. We test this with a model-agnostic agent framework formalizing decision making as a five-stage closed loop, enforced by a candidate x evidence matrix falsification protocol: every candidate is judged against every evidence item, at least half of the candidates must be falsified before a conclusion is licensed, and survivors are emitted in a machine-verifiable single-line format. Across five base models, the effect is sign-conditional on zero-shot output discipline: it rescues models whose discipline fails (DeepSeek-V4-Flash: +0.267/+0.271, entirely termination rescue), reduces a high-variance model's run-to-run standard deviation from 0.218 to 0.007 (Kimi K3), and significantly costs already-disciplined models (-0.087 to -0.120 on budget-matched Qwen3-4B/32B). Ablations attribute the cost to the candidate-bounded format layer and show the effect is independent of injected knowledge content (protocol-knowledge decoupling). The protocol also transfers to misinformation-robust mathematical reasoning, detecting injected false premises at 89.8% recall with a 6.8% false-positive rate (MCC 0.54; a flag-everything baseline scores 0) and restoring accuracy to the no-misinformation ceiling. Where zero-shot output discipline is weak, the reasoning protocol sets the floor; base-model capability always sets the ceiling.
- Abstract（参考訳）: 監査可能な仮説駆動の意思決定タスクでは,すべての候補が証拠に対してチェック可能な,大きな言語モデルには何が結合するのでしょう?
2年間のモデルスケーリングはゼロショットスコアを-0.03から+0.08に移動する一方、アウトプット・ディシプリエント障害(非決定的推論、フォーマット非準拠、大規模実行時拡散)はフロンティアモデルでも持続する。
我々は、決定を5段階閉ループとして定式化するモデル非依存のエージェント・フレームワークを用いてこれを検証し、候補xエビデンス・マトリクス・ファルシフィケーション・プロトコルにより、各候補がすべてのエビデンス・アイテムに対して判定され、少なくとも半数は結論が承認される前にファルシフィケーションされ、生存者はマシン検証可能な単一ライン・フォーマットで出力される。
5つの基本モデル全体で、この効果はゼロショット出力の規律にサインコンディション(DeepSeek-V4-Flash: +0.267/+0.271、完全終端救済)、高分散モデルの標準偏差が0.218から0.007(Kimi K3)に減少し、既に分割されたモデル(予算が整ったQwen3-4B/32Bでは-0.087から-0.120)を著しく削減する。
アブレーションは、そのコストを候補境界のフォーマット層に当てはめ、その効果が注入された知識内容とは無関係であることを示す(protocol-knowledge decoupling)。
このプロトコルはまた、誤情報の不正な数学的推論に移行し、89.8%のリコールで注入された偽の前提を6.8%の偽陽性率(MCC 0.54; フラグ満載のベースラインスコア0)で検出し、非誤情報の天井に精度を回復する。
ゼロショット出力の規律が弱い場合は、推論プロトコルがフロアを設定する。
関連論文リスト
- LOGIC: An LLM Benchmark for Intent-Grounded Change Impact in Aerospace Electrical Systems [0.6567875008573567]
検出されたすべての違いを伝搬すると、非常に広範囲な影響レポートが生成される。
制御されたベンチマークおよび評価フレームワークであるLOGICを提案する。
LOGICには168のシナリオがあり、144のセレクションと24の棄権ケースが含まれている。
論文 参考訳（メタデータ） (2026-10-06T01:14:09Z) - AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。
AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。
RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
論文 参考訳（メタデータ） (2026-10-01T07:24:04Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳（メタデータ） (2026-09-14T17:13:05Z) - IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。
カテゴリー的誘因は有効性には至らなかった。
声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
論文 参考訳（メタデータ） (2026-04-24T04:45:21Z) - MIRROR: A Hierarchical Benchmark for Metacognitive Calibration in Large Language Models [0.0]
MIRRORは、大規模言語モデルがより優れた意思決定に自己知識を使用できるかどうかを評価するベンチマークである。
約25万の評価インスタンスに対して,8つの実験室から16のモデルを評価した。
論文 参考訳（メタデータ） (2026-04-15T08:41:12Z) - When LLMs get significantly worse: A statistical approach to detect model degradations [33.63321816712603]
基礎モデルの推論コストと遅延を最小化することが重要な研究領域となっている。
モデル劣化を効率的に検出できる,McNemarのテストに基づく統計的に健全な仮説テストフレームワークを提案する。
実験の結果,0.3%の精度劣化でも,ノイズよりも実際の劣化が確実な原因であることが判明した。
論文 参考訳（メタデータ） (2026-02-09T10:45:13Z) - Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。
当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
論文 参考訳（メタデータ） (2025-12-22T22:51:48Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。