論文の概要: Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowable

• arxiv url: http://arxiv.org/abs/2608.27167v1
• Date: Thu, 27 Aug 2026 14:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.44344
• Title: Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowable
• Title（参考訳）: LLMエージェントを無知にコミットさせるファブリケーション・エビデンス
• Abstract要約: 自信ある行動を解き放つものは、情報ではなく、そのパッケージングの権威である。 一致した回答可能な質問が同じパネルに取り付けられた場合、同じモデルは常に答える。 Act/Don't-act Gateは失敗するものであり、その効果は普遍的ではなくいくつかのモデルに集中している。
• 参考スコア（独自算出の注目度）: 0.7759669140835106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM agent shown a professional-looking market panel commits to a directional call on a provably unpredictable question far more often than one asked the bare question: across 12 frontier models, commitment rises from 6.5% to 54.0% as evidence is escalated. It commits just as readily when every number on the panel is invented: fabricating the entire display, so nothing the model can see is true except the question itself, still lifts commitment from 24.5% to 36.8%, statistically indistinguishable from the 37.6% produced by genuine market data. What unlocks confident action is not information but the authority of its packaging. The failure is narrow and locatable. Incapacity is not the answer: on matched answerable questions attached to the same panels, the same models answer essentially always, at near-perfect accuracy. Nor is it belief - stated probabilities barely move across the gradient that swings action by 48 points, and score worse than a climatological baseline. Missing judgment isn't it either: asked to classify a question's knowability before acting, models call it irreducible 90% of the time and then commit on just 0.4% of those. The act/don't-act gate is what fails, and the effect is concentrated in a few models rather than universal. Because the gate is separable, it can be trained. Supervised fine-tuning of a 3B model on 540 synthetic cases, predominantly dice, coins, jars and timers, drives commitment to 0.0% on the original cases and transfers to three unseen domains. It does not survive everything: the gate holds exactly when the response format leaves room to reason, and rigid formats that remove that room leave the model confident and wrong on questions it otherwise answers correctly. The gate is trainable and context-fragile, and deployment needs both halves of that sentence.
• Abstract（参考訳）: LLMのエージェントは、12のフロンティアモデルにおいて、証拠がエスカレートされるにつれてコミットメントが6.5%から54.0%に上昇する、という、予想できないほど予測不可能な質問に対する、プロフェッショナル的な市場パネルのコミットの方向性を示した。 パネル上の全ての番号が発明された時と同様に容易にコミットされる:ディスプレイ全体を製作するので、本質的な市場データによって生産された37.6%と統計的に区別できない24.5%から36.8%まで、問題自体を除いてモデルが真であることはない。 自信ある行動を解き放つものは、情報ではなく、そのパッケージングの権威である。 失敗は狭く、致命的です。 一致した回答可能な質問が同じパネルに取り付けられた場合、同じモデルは常にほぼ完璧な精度で答える。 言明された確率は、作用を48ポイント振る勾配をわずかに横切るが、気候学の基準値よりは低い。 行動する前に質問の可知性を分類するように頼んだり、モデルはそれを90%の確率で既約と呼び、その中のわずか0.4%にコミットする。 Act/Don't-act Gateは失敗するものであり、その効果は普遍的ではなくいくつかのモデルに集中している。 ゲートは分離可能であるため、訓練することができる。 主にダイス、コイン、瓶、タイマーを含む540の合成ケース上での3Bモデルの微調整を監督し、元のケースの0.0%にコミットし、3つの目に見えないドメインに転送する。 ゲートは、応答フォーマットが推論する余地を残した時に正確に保持し、その部屋を除去する厳格なフォーマットは、モデルに自信と誤った質問を残し、そうでなければ正しく答える。 ゲートはトレーニング可能で、コンテキストフレジブルで、配置にはその文の半文が必要である。

関連論文リスト

• EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
  接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。 EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
  論文  参考訳（メタデータ） (2026-09-15T12:18:19Z)
• DementiaCare-Bench: A Modality-Validated Video Benchmark [83.92703885588868]
  認知症は世界中で推定5700万人に影響を与える。 ほとんどの家族にとって、ケアの最も難しい部分は記憶喪失ではなく、認知症の行動や心理的症状である。 DementiaCare-Bench: 9つのBPSDカテゴリの94クリップに区切られた、プロのケア用トレーニングビデオ56本を提示する。
  論文  参考訳（メタデータ） (2026-09-11T14:52:49Z)
• SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries [0.0]
  SteerBench-Workは、職場エージェントによる意思決定のための、インシデント対応のベンチマークだ。 リリースされたv2026-05には、公開インシデントに固定された106のシナリオ、ペアのエビデンス反転ミラー、キャリブレーション制御が含まれている。 モデルは提案された行動と利用可能な証拠を見て、ゲート決定を返し、それが境界を正しく越えるか、保持するかを判断する。
  論文  参考訳（メタデータ） (2026-08-12T23:34:17Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Two Axes of LLM Abstention: Answer Correctness and Question Answerability [0.0]
  モデルは2つの異なることを拒否すべきである。 3つのファミリーの5つの命令調整モデルにまたがって、それらは別々の軸である。 回答可能性スコアと正当性スコアがそれぞれ別々に認定された場合にのみ答える、校正されたポリシーに変換する。
  論文  参考訳（メタデータ） (2026-07-09T13:17:56Z)
• PhantomFill: When the Form Demands an Answer, Language Models Invent One [0.0]
  実運用における言語モデルは散文を書かない。 私たちは13のモデルに同じ質問をし、回答形式だけを変更します。 形態自体が幻覚を引き起こすことを示す。
  論文  参考訳（メタデータ） (2026-06-11T12:15:05Z)
• Measuring and Improving Behavioral Consistency in Large Language Models through Fact-Heuristic-Emotion State Enforcement [4.226475360842309]
  大規模言語モデル(LLM)は、実行中に同じ決定問題に対して異なる回答を与え、自身の事前回答がコンテキストとして返されるときにその決定を覆す。 モデル重みを変化させることなく、この不安定性を測定・部分的に低減できるかどうかを問う。 我々は,プロンプトレベルの状態強化層であるCognitive Kernel Model (CKM)をテストする。
  論文  参考訳（メタデータ） (2026-06-05T12:36:36Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Why Models Know But Don't Say: Chain-of-Thought Faithfulness Divergence Between Thinking Tokens and Answers in Open-Weight Reasoning Models [0.0]
  拡張思考モデルは、ユーザ可視の回答と並んで、第2のテキスト生成チャネル(トークンを考える)を公開する。 本研究では,MMLUおよびGPQA質問に対する12のオープンウェイト推論モデルについて,誤解を招くヒントと組み合わせて検討した。
  論文  参考訳（メタデータ） (2026-03-27T13:39:05Z)
• High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning [84.52940628494879]
  大規模言語モデル(LLM)は現在、すべてのプロンプトに応答する。 LLMは、知識や能力の欠如によって、誤った答えを生み出すことができる。 本稿では,その正確性に自信を持った場合にのみコンテンツを生成するためのLCMのポストトレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-04T15:16:21Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。