論文の概要: When Do Models Admit They Are Wrong? Failure Disclosure Is Unstable Under Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.33220v1
• Date: Sun, 27 Sep 2026 05:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:05:57.604447
• Title: When Do Models Admit They Are Wrong? Failure Disclosure Is Unstable Under Reinforcement Learning
• Title（参考訳）: モデルは間違ったことを許すのか? 強化学習下での失敗の開示は不安定である
• Abstract要約: アウトカムベースの強化学習は、同様のタスクパフォーマンスを持つモデルを生成することができるが、その失敗についてコミュニケーションするまったく異なる方法がある。 我々は、失敗の開示について研究する: あるモデルが、試みられた解決策が失敗していることを認めているかどうかを、黙秘または成功として提示するよりはむしろ調査している。
• 参考スコア（独自算出の注目度）: 28.878925811202084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Outcome-based reinforcement learning can produce models with similar task performance but very different ways of communicating about their mistakes. We study failure disclosure: whether a model admits that an attempted solution failed rather than staying silent or presenting it as successful. Across repeated outcome-only GRPO training runs, failure disclosure varies far more than task accuracy. The pattern extends to a second reasoning task and stabilized PPO, persists at 7B, and also appears in an instruction-conditioned 32B setting. We also find that small floating-point and sampling differences during training can redirect reporting behavior even when the task objective and earlier training history are held fixed. Additional tests show that failure disclosure is not a single decision: Checking the answer, entering a report, and completing the admission can separate, and the weak point depends on the task and response format. Further, experiments with neutral controls show more broadly that behaviors left weakly constrained by training are especially likely to vary across runs, of which failure disclosure is an example. We can reduce variability in failure disclosure by discouraging the model from drifting from its starting policy on failed, well-formed responses. This makes reporting substantially more consistent, though its effect on task performance depends on the setting. Stable task accuracy therefore does not guarantee stable safety-relevant behavior: Researchers should measure these behaviors directly across runs and design training methods that keep them reliable.
• Abstract（参考訳）: アウトカムベースの強化学習は、同様のタスクパフォーマンスを持つモデルを生成することができるが、その失敗についてコミュニケーションするまったく異なる方法がある。 我々は、失敗の開示について研究する: あるモデルが、試みられた解決策が失敗していることを認めているかどうかを、黙秘または成功として提示するよりはむしろ調査している。 繰り返し行われる結果のみのGRPOトレーニングでは、失敗の開示はタスクの正確さよりもはるかに多様である。 このパターンは第2の推論タスクに拡張され、安定化されたPPOが7Bで持続し、命令条件付き32B設定にも現れる。 また,課題目標や初期の訓練履歴が固定された場合でも,訓練中の小さな浮動小数点・サンプリングの違いが報告行動のリダイレクトにつながることも見いだした。 回答を確認し、レポートを入力し、受け入れを完了すると分離でき、弱点はタスクとレスポンスフォーマットに依存する。 さらに、中立的な制御による実験は、トレーニングによって弱く制約された行動は、特に実行中に変化しがちであり、失敗の開示が例であることを示す。 フェール開示における変数の変動は、モデルが失敗し、十分に整った応答に対する開始ポリシーからドリフトすることを妨げることで抑制できる。 これにより、レポートの一貫性が大幅に向上するが、タスクパフォーマンスへの影響は設定に依存する。 したがって、安定的なタスク精度は、安定した安全関連行動を保証するものではない。

関連論文リスト

• The Intervention Gap in Latent World Models [0.0]
  計画時介入の忠実さは、学習された世界モデルの際立った、測定可能な特性である。 リリースされたTD-MPC2チェックポイントサイズ全体で、タスクオブザーバのオペレータエラー診断が増加するにつれて、エピソードリターンが減少する。 タスク信号無しで訓練された自己教師付き世界モデルは、共有タスク上のタスク選択モデルよりもかなり優れた演算子を保存する。
  論文  参考訳（メタデータ） (2026-08-30T19:47:51Z)
• Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models [0.0]
  最近の研究は、いくつかの大きな言語モデル表現が内容や参照を持っていることを示唆している。 この論文はそのギャップから何に従うか尋ねる。 出力は、目標とタスク固有のアレンジメントが生成し、受け入れ、または取り下げるものに相違がある場合、応答可能である。
  論文  参考訳（メタデータ） (2026-08-14T12:30:19Z)
• When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning [14.102553871638243]
  インコンテキスト学習(ICL)は、しばしばデモが正しいインプット・アウトプットの例を提供するために役立つ直感によって動機づけられる。 有効性は保証されていないことを示し、いくつかの正しい実演はICLの精度を低下させることさえできることを示した。 以上の結果から,頑健なICLは実演が正しいかどうかだけでなく,文脈的推論にどのように影響するかを評価する必要があることが示唆された。
  論文  参考訳（メタデータ） (2026-05-25T21:52:49Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• CM-DQN: A Value-Based Deep Reinforcement Learning Model to Simulate Confirmation Bias [0.0]
  本稿では,人間の意思決定過程をシミュレートするために,Deep Reinforcement Learning(CM-DQN)に新たなアルゴリズムを提案する。 我々は,Lunar Lander環境において,確認的,不確認的バイアス,非バイアスを用いて学習効果を観察する。
  論文  参考訳（メタデータ） (2024-07-10T08:16:13Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。