論文の概要: Training Language Models to Fail Gracefully
- arxiv url: http://arxiv.org/abs/2610.20401v1
- Date: Wed, 14 Oct 2026 16:03:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.244943
- Title: Training Language Models to Fail Gracefully
- Title（参考訳）: 言語モデルがグラッシーに失敗する訓練
- Abstract要約: 強化学習は、言語モデルをタスクの解決に役立てるが、同じメカニズムは推測にも報いる。
動作が信頼できない場合に安全なフォールバックポリシーを実行することを学習しながら、優雅に失敗するトレーニングモデルを提案する。
この課題に対処するGracefulRLは、最適化のランドスケープを再評価し、優雅な失敗を促進する。
- 参考スコア（独自算出の注目度）: 45.148067979159144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning makes language models better at solving tasks, but the same mechanism also rewards guessing. When success is the only way to earn reward, opting for a safe fallback is always worse than a long-shot attempt. When a wrong action can corrupt a database or ship broken code, that incentive can be costly. Therefore, we propose training models to fail gracefully: to preserve successful behavior whenever possible while learning to execute a safe fallback policy when acting would be unreliable. However, naively using policy gradients with intermediate reward for fallback behavior is brittle due to unfavorable optimization dynamics. We address this challenge with GracefulRL, which reshapes the optimization landscape to promote graceful failure. Importantly, this behavior emerges directly from outcome-level reward signals, without annotations specifying when to fall back or additional inference-time machinery such as a verifier. Across a range of tasks and scales, we train models that largely preserve their task-solving capability while selectively falling back when acting would be unreliable. More broadly, our results show that reinforcement learning can not only incentivize models to succeed, but also to reason about the limits of their capabilities and change course when they determine that success is out of reach.
- Abstract（参考訳）: 強化学習は、言語モデルをタスクの解決に役立てるが、同じメカニズムは推測にも報いる。
成功が報酬を得る唯一の方法である場合、安全なフォールバックを選択することは、ロングショットの試みよりも常に悪いです。
間違ったアクションがデータベースを破損させたり、壊れたコードを出荷した場合、そのインセンティブはコストがかかる可能性がある。
そこで本研究では,行動が信頼できない場合に安全なフォールバックポリシーを実行することを学習しながら,可能な限り良好な行動を維持するためのトレーニングモデルを提案する。
しかし、不都合な最適化のダイナミクスのため、フォールバック動作に対する中間報酬を伴う政策勾配をネーティブに用いた場合、不安定である。
この課題に対処するGracefulRLは、最適化のランドスケープを再評価し、優雅な失敗を促進する。
重要なことは、この行動は結果レベルの報酬信号から直接発生し、いつフォールバックするか、検証器のような追加の推論時機械を指定しない。
さまざまなタスクやスケールで、タスク解決能力を大きく保ちながら、行動が信頼できない場合に選択的に後退するモデルをトレーニングします。
より広義には、強化学習はモデルの成功にインセンティブを与えるだけでなく、成功が到達できないと判断した場合に、その能力の限界とコースの変更を推論できることを示している。
関連論文リスト
- Reward Stealing Attack on Large Language Models [11.885987814946276]
LLM(Large Language Models)に対する敵対的攻撃は有害なコンテンツを誘導することを目的としている。
本稿では,LSMアライメントの根底にある潜伏安全報酬を狙う敵攻撃フレームワークであるReward Stealing Attack (ReSA)を提案する。
論文 参考訳（メタデータ） (2026-10-05T16:44:00Z) - HiRE: Hindsight Reward Editing for Policy Finetuning [11.312874142320021]
Hindsight Reward Editing (HiRE)は、この報酬ボトルネックを克服するためのトレーニング不要のフレームワークである。
HiREは、密集したコントロール対応のフィードバックを提供することで、他の報酬レシピを一貫して上回る。
論文 参考訳（メタデータ） (2026-09-22T21:04:10Z) - DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation [67.08835970838996]
強化学習は模倣学習の限界を超えてロボットポリシーを改善するための大きな約束である。
2つの重要な課題は、さまざまな障害データを大規模に取得し、スパース軌道レベルの成功ラベルを超えて、きめ細かい報酬信号を取得することである。
両課題に対処する高密度ロボット報酬モデルであるDenseRewardを紹介した。
論文 参考訳（メタデータ） (2026-07-14T17:59:29Z) - Learning Process Rewards via Success Visitation Matching for Efficient RL [54.67547527674048]
本稿では,スパース結果報酬を高密度プロセス報酬に変換するための簡単な手法を提案する。
我々のアプローチは、以前の成功と失敗のエピソードを区別するために差別者を訓練することに依存しています。
この報酬は、タスクの成功に対応するものだけでなく、すべての州への訪問に対応するポリシーをインセンティブにすることで、タスク完了に向けた進捗が進められているかどうかについての深いフィードバックを提供する。
論文 参考訳（メタデータ） (2026-06-22T17:30:24Z) - The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret [64.04721528586747]
報奨モデルの十分に低いテスト誤差は、最悪の場合の後悔を確実にすることを示す。
次に、ポリシー正則化技術を用いても、同様の問題が持続することを示す。
論文 参考訳（メタデータ） (2024-06-22T06:43:51Z) - On The Fragility of Learned Reward Functions [4.826574398803286]
好意に基づく報酬学習の領域における再学習失敗の原因について検討した。
本研究は,文献における再学習に基づく評価の必要性を強調した。
論文 参考訳（メタデータ） (2023-01-09T19:45:38Z) - Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。
限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。
シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
論文 参考訳（メタデータ） (2020-12-12T20:06:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。