論文の概要: Not Until the Evidence Says So: Teaching LLM Investigators When to Close a Case

• arxiv url: http://arxiv.org/abs/2610.03190v1
• Date: Fri, 02 Oct 2026 12:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.356278
• Title: Not Until the Evidence Says So: Teaching LLM Investigators When to Close a Case
• Title（参考訳）: LLMの捜査員に事件の解決を指導する、という証拠が見つかるまで
• Abstract要約: 事故、欠陥、機能停止の調査は、通常の質問に対する回答が決して直面することのない決定で終わる。 事例ファイルから証拠を提出し,仮説を改訂し,その内容に根拠を付けた結論を提示し,その結論を提示し,その証拠を記載するLLM調査員の判断について検討する。 Nautil, 航空, 鉄道, 海上, 化学安全, 車両の欠陥報告, および生産サーバのインシデントから, 教師のトラジェクトリ, アウト・オブ・ディストリビューションテストセット, および偽物証拠バージョンを作成した。
• 参考スコア（独自算出の注目度）: 3.7909391530762093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accident, defect and outage investigations end with a decision that ordinary question answering never faces: whether the evidence gathered so far is enough to close the case. We study this decision for LLM investigators, which request evidence from a case file, revise their hypotheses, and either close the case with a conclusion grounded in what they read or leave it open and name what is missing. This judgment does not come with capability: an untrained 9B model overstates its evidence in 97% of its answers, and a frontier model that identifies the right cause in 84% of cases still overstates in 91% and closes 17 of the 41 cases whose official finding is "cause undetermined". Measuring it is also non-trivial: the source of a case largely predicts its label, and a rule that reads only the source reaches 83.0 balanced accuracy on our test cases. We therefore evaluate closure with three tests: closure accuracy, reported against this rule and within each source; evidence dependence, which removes the grounds of a conclusion and checks whether the model stops closing; and conclusion and gap quality, a judged checklist of what the model asserts and what it says is missing. We build Nautil, 731 audited cases from aviation, rail, maritime, chemical-safety and vehicle-defect reports and production server incidents, with teacher trajectories, an out-of-distribution test set and counterfactual evidence versions. Fine-tuning a 9B model on these trajectories makes its closures follow the evidence: removing the grounds lowers its closure rate by 26 points relative to a matched control, overstatement falls from 97% to 35%, and correct, non-overstated conclusions rise from 3% to 43%. Reinforcement learning that rewards only the closure decision then raises balanced accuracy from 69.2 to 83.3, on par with the teacher, and within-source accuracy from 60.4 to 74.1, at some cost in evidence dependence.
• Abstract（参考訳）: 事故、欠陥、機能停止の調査は、通常の質問に対する回答が決して直面することのない決定で終わる。 事例ファイルから証拠を提出し,仮説を改訂し,その内容に根拠を付けた結論を提示し,その結論を提示し,その証拠を記載するLLM調査員の判断について検討する。 訓練されていない9Bモデルは、その答えの97%にその証拠を上書きし、フロンティアモデルでは、91%のまだ過大なケースの84%で正しい原因を識別し、公式発見が「決定不能である」41件のうち17件をクローズする。 ケースのソースはそのラベルを大体予測し、ソースのみを読み込むルールはテストケースで83.0のバランスの取れた精度に達する。 したがって、クロージャの精度、このルールに反する各ソースでの報告、結論の根拠を除去するエビデンス依存、モデルが閉じるかどうかの検証、結論とギャップの質、モデルが主張するものやその主張が欠けていることの判断されたチェックリストの3つのテストでクロージャを評価する。 Nautil, 航空, 鉄道, 海上, 化学安全, 車両の欠陥報告, および生産サーバのインシデントから, 教師のトラジェクトリ, アウト・オブ・ディストリビューションテストセット, および偽物証拠バージョンを作成した。 これらの軌道上の9Bモデルを微調整すると、その閉包は証拠となる: 接地を除去すると、その閉包率は一致した制御に対して26ポイント減少し、オーバーステートメントは97%から35%減少し、正しい、非過剰な結論は3%から43%上昇する。 閉鎖決定のみを報いる強化学習は、教師と同等のバランスの取れた精度を69.2から83.3に引き上げ、情報源内精度を60.4から74.1に引き上げる。

関連論文リスト

• Right Answers, Wrong States: Hidden Information Failures in Multi-Agent Collaboration [69.14904049421806]
  共同作業は、即時決定が正しい場合でも、腐敗した情報状態に置き去りにすることができる。 GPT、Gemini、Qwenモデル全体では、標準的なコラボレーションは、状態の信頼性よりもはるかに強力なタスクパフォーマンスを示している。 我々は、矛盾する証拠を解決し、共有された事実を検証し、信頼された国家を再構築するReGroundを紹介します。
  論文  参考訳（メタデータ） (2026-10-01T07:42:27Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
  より強力なモデルで対処されていない障害モードを特定します。 文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
  論文  参考訳（メタデータ） (2026-09-23T23:52:24Z)
• Are Stated Reasoning Steps Causally Load-Bearing? [0.0]
  CoT(Chain-of- Thought)モニタリングは、モデルが書き込む推論は、その解を直接生成する計算を反映していると仮定する。 本手法は,活性化レベル,特に自己生成的推論に基づいて,忠実度を因果的に測定することを目的としている。
  論文  参考訳（メタデータ） (2026-09-22T20:34:26Z)
• From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
  研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。 生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。 本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-05T13:37:38Z)
• Selective QA over Conflicting Multi-Source Personal Memory: A Diagnostic Testbed and Method Comparison [11.187819120306825]
  既存のベンチマークでは、メソッドに与えられたエビデンスやメソッドのコンフリクト解決ステップからエラーが生じたかどうかはほとんど示されていない。 我々はこれをマルチソース・パーソナルメモリの競合に対する選択的QAとして検討する。 8種類の推論型,480のペルソナ,4つのランダムシード,34,560のインスタンスを対象とした18の質問テンプレートを含むベンチマークを作成した。
  論文  参考訳（メタデータ） (2026-05-28T15:33:39Z)
• DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training [18.22030439716779]
  安全のために調整された大きな言語モデル(LLM)は、しばしば人口統計の違いを認めない。 このアイデンティティ・ブラインドネスは、誤った応答、不必要な拒絶、あるいは一般的な"equal-treatment"デフォルトをもたらす。 DART(Distill-Audit-Repair Training)を導入する。
  論文  参考訳（メタデータ） (2026-04-18T05:28:53Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
  基礎モデルの幻覚は自己回帰訓練の目的から生じる。 トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
  論文  参考訳（メタデータ） (2025-02-26T02:30:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。