論文の概要: Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
- arxiv url: http://arxiv.org/abs/2610.21018v1
- Date: Wed, 14 Oct 2026 23:33:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.10404
- Title: Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
- Title（参考訳）: 失敗は成功の母である:地平線でスーパービジョンを回復する
- Abstract要約: Replay-Selected Hindsight Distillation (RSHD)について述べる。
ポリシーは、参照された回答やソリューションを見ることなく、失敗した各試みについて修正ノートを書き、その後、そのノートで問題をコンテキストで再解決する。
ポリシーのみをトレーニングし、唯一の判断は結果検証であり、デプロイメントはノートや追加の推論を必要としない。
- 参考スコア（独自算出の注目度）: 51.276336727283
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: When every rollout for a problem fails, GRPO receives neither a successful exemplar nor a nonzero group-relative advantage, so it learns nothing from exactly the problems it most needs to learn. The failed reasoning can nevertheless suggest what to try next. We present Replay-Selected Hindsight Distillation (RSHD), which turns failed attempts into an additional, tested source of supervision during GRPO training. The policy writes a corrective note about each failed attempt without seeing a reference answer or solution, then re-solves the problem with the note in context. A note is admitted only if its replays succeed more often than the original group did, after screening for notes that state the answer, and an admitted replay is distilled into the plain-prompt policy. Because admission is decided by fresh successes rather than by the failed rollout itself, the procedure can recover supervision from groups in which every attempt failed, and it applies equally to failures in mixed groups. Only the policy is trained, the only judge is the outcome verifier, and deployment requires no notes or extra inference. Across model families and sizes and two training domains, RSHD consistently improves over GRPO on in-domain benchmarks, and the gains carry over to out-of-domain evaluation sets.
- Abstract（参考訳）: 問題に対するロールアウトがすべて失敗すると、GRPOは成功例もゼロでないグループ相対的な優位性も受けないため、最も学ぶ必要がある問題からは何も学ばない。
失敗に終わった推論は、しかしながら次に何をするべきかを提案できる。
本稿では,Replay-Selected Hindsight Distillation (RSHD)について紹介する。
ポリシーは、参照された回答やソリューションを見ることなく、失敗した各試みについて修正ノートを書き、その後、そのノートで問題をコンテキストで再解決する。
ノートは、そのリプレイが元のグループよりも頻繁に成功した場合にのみ許可され、回答を記載したノートをスクリーニングした後で、承認されたリプレイがプレーン・プロンプト・ポリシーに蒸留される。
受け入れはロールアウト自体の失敗よりも新しい成功によって決定されるため、手順はすべての試みが失敗したグループから監督を回復することができ、混合グループの失敗にも等しく適用される。
ポリシーのみをトレーニングし、唯一の判断は結果検証であり、デプロイメントはノートや追加の推論を必要としない。
モデルファミリとサイズと2つのトレーニングドメインにわたって、RSHDは、ドメイン内のベンチマークにおいてGRPOよりも一貫して改善され、ゲインはドメイン外の評価セットへと引き継がれる。
関連論文リスト
- Where to Start, How to Move: Analyzing Curricula under GRPO for Long-Horizon LLM Agents [18.823511821287187]
グループ相対政策最適化(GRPO)は、すべてのロールアウトが同じ報酬を受ける場合、報酬関係の学習信号を提供しない。
複数の相互作用を必要とする長期タスクでは、報酬はタスク完了の成功時にのみ与えられる。
本研究では,初期位置,ハンドオフ単位,移動規則がタスク完了にどう影響するかを検討する。
論文 参考訳（メタデータ） (2026-10-14T00:42:53Z) - FC-SWE: Failure-Conditioned RL for Long-Horizon Software Engineering Agents [33.62846918344099]
リポジトリレベルのソフトウェアエンジニアリング(SWE)は、難しい長期的設定です。
最近のSWEエージェントは、グループ相対的政策最適化のような強化学習手法で訓練されている。
本稿では,リカバリの試みを政策訓練に取り入れた,障害条件付きRLフレームワークFC-SWEを紹介する。
論文 参考訳（メタデータ） (2026-10-06T07:44:12Z) - What pass@k Cannot Measure: Evaluating Diversity and Capability Retention after Post-Training [4.500362688166346]
pass@$k$は、正しいサンプルの確率にのみ依存しており、どのように出力に分散するかという用語は存在しない。
これは、通常の認証に使用されるプロパティが欠落している標準評価プロトコルの具体例である、と我々は主張する。
論文 参考訳（メタデータ） (2026-10-05T21:16:32Z) - Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning [63.752287291668786]
本稿では、成功と失敗を非対称に扱うエントロピー誘導型信用割当手法であるエントロピーアドバンテージポリシー最適化(EAPO)を紹介する。
不確実性の下での成功は再現不可能であり、確実な失敗は再帰する傾向にあるという観察に動機付けられ、EAPOは、驚くべき成功を補強し、繰り返し失敗を正すために、応答優位のサインで正常化された政策エントロピーを定めている。
トークン間でレスポンスのアドバンテージを再分配することで、EAPOは、追加の監督なしに既存のロールアウトシグナルから直接トークンレベルのクレジットを導き出す。
論文 参考訳（メタデータ） (2026-09-27T17:23:21Z) - Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models [102.76983747945836]
長い形式の連鎖推論は複雑なタスクのパフォーマンスを向上させることができる。
しかし、正しい答えが現れた後、モデルはしばしば不要な推論を生成し続ける。
我々はこの現象をGRPO型強化学習の観点から研究する。
論文 参考訳（メタデータ） (2026-06-16T13:10:30Z) - From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding [35.008790179255136]
本稿では,ハードケースにおける学習を促進するグループ・リビジョン最適化パラダイムを提案する。
報酬形成にインスパイアされ,初期試行よりも各候補者の改善を定量化する統合プロセスを導入する。
提案手法は,従来のGRPOモデルと比較して,参照と推論のセグメンテーション,REC,およびカウントのベンチマークで一貫したゲインを実現する。
論文 参考訳（メタデータ） (2026-05-15T13:41:41Z) - RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。
成功、回復、失敗の軌跡に異なる役割を割り当てる。
対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
論文 参考訳（メタデータ） (2026-05-10T08:24:05Z) - Learning to Hint for Reinforcement Learning [51.46328710610512]
グループ相対政策最適化(GRPO)は、検証可能な報酬を伴う強化学習に広く用いられている。
GRPOは、グループ内のすべてのロールアウトが同じ報酬を受けると、しばしば有利な崩壊に苦しむ。
Hint Learning for Reinforcement Learning (HiLL)を提案する。
論文 参考訳（メタデータ） (2026-04-01T09:58:08Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。