論文の概要: Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes

• arxiv url: http://arxiv.org/abs/2609.19156v1
• Date: Fri, 24 Jul 2026 02:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.617298
• Title: Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes
• Title（参考訳）: リフレクティブリカバリ: 誤りからの学習による推論の自己監督手法
• Abstract要約: リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
• 参考スコア（独自算出の注目度）: 70.64622557376505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-driven fine-tuning is widely adopted to enhance reasoning in Large Language Models (LLMs) due to its simplicity and efficiency. However, mainstream imitation learning methods that rely exclusively on perfect reasoning trajectories suffer from a Scaling Collapse: when the problem set is limited, increasing positive examples fails to yield continuous improvement. However, during inference, an LLM can not guarantee that every intermediate step is correct and is therefore prone to errors. Once such errors arise, the LLM often struggles to recover and may be further misled by the accumulation of previous mistakes. To address this, we propose Reflective Recovery, a simple yet effective self-supervised approach that transforms failed reasoning attempts into recovery training data. Specifically, we extract initial segments of failed trajectories, concatenate them with prompts, and use them to guide the LLM toward valid solutions. Because these segments from failed trajectories are likely to contain errors, this process teaches models to recognize and correct mistakes during reasoning, enabling recovery from erroneous states without relying on external critics or reward models. Evaluated on extensive benchmarks, Reflective Recovery significantly improves performance. On DeepSeek-R1-Distill-Qwen-7B, it boosts accuracy from 30.0% to 37.5% on AIME 2025 and from 37.6% to 47.8% on Minerva. More importantly, analyses demonstrate that it breaks the scaling collapse barrier and enables models to develop emergent self-correction behaviors, representing a paradigm shift from outcome-oriented memorization to process-oriented reflective reasoning.
• Abstract（参考訳）: データ駆動の微調整は、その単純さと効率性から、Large Language Models (LLM)における推論を強化するために広く採用されている。 しかし、完全な推論軌道のみに依存する主流の模倣学習手法は、スケーリング崩壊に苦しむ。 しかし、推論中、LLMは全ての中間ステップが正しいことを保証することができず、したがってエラーを起こしやすい。 このようなエラーが発生すると、LLMはしばしば回復に苦労し、以前のミスの蓄積によってさらに誤解される可能性がある。 これを解決するために,リフレクティブ・リカバリ(Reflective Recovery)を提案する。 具体的には、失敗した軌道の最初のセグメントを抽出し、それらをプロンプトと結合させ、LSMを有効な解へと導く。 失敗した軌道からのこれらのセグメントは誤りを含む可能性が高いため、このプロセスはモデルに推論中に誤りを認識し、修正するように教え、外部の批評家や報酬モデルに頼らずに誤った状態からの回復を可能にする。 広範なベンチマークで評価すると、リフレクティブリカバリはパフォーマンスを大幅に改善する。 DeepSeek-R1-Distill-Qwen-7Bでは、AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。 さらに重要なのは、スケーリングの崩壊障壁を破り、モデルが結果指向の記憶からプロセス指向の反射的推論へのパラダイムシフトを表現して、創発的な自己補正行動の開発を可能にすることを示しています。

関連論文リスト

• A Training-Free Regeneration Paradigm: Contrastive Reflection Memory Guided Self-Verification and Self-Improvement [8.401193963526236]
  オフライン処理型コントラストリフレクションメモリ(RM)を利用したトレーニングフリー再生パラダイムを提案する。 推論時に、RM誘導の自己検証を行い、続いて単一のRM誘導の再生を行い、反復補正とマルチサンプル選択の両方を避ける。 実験の結果,提案手法は計算コストを低く抑えつつ,先行手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-20T19:12:36Z)
• Recycling Failures: Salvaging Exploration in RLVR via Fine-Grained Off-Policy Guidance [39.88432082145946]
  本稿では,プロセス・リワード・モデルを用いた新しいフレームワークSCOPEを提案する。 本手法は,部分的正しいロールアウトに精密な改良を加えて,部分的正しい軌道を効果的に回収し,多様性スコアを13.5%向上させる。 提案手法は,数学推論において平均46.6%の精度を達成し,分布外推論タスクにおいて53.4%の精度でロバストな一般化を示す。
  論文  参考訳（メタデータ） (2026-02-27T15:49:23Z)
• InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
  アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。 Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
  論文  参考訳（メタデータ） (2026-01-20T18:15:38Z)
• Addressing Overthinking in Large Vision-Language Models via Gated Perception-Reasoning Optimization [56.59356959631999]
  Gated Perception-Reasoning Optimization (GPRO) は3つの決定経路間で動的に計算をルーティングするメタ推論コントローラである。 GPROは精度と効率を大幅に改善し、最近のスロー思考法よりも優れている。
  論文  参考訳（メタデータ） (2026-01-07T23:05:17Z)
• ReForm: Reflective Autoformalization with Prospective Bounded Sequence Optimization [73.0780809974414]
  本稿では,意味的整合性評価を自己形式化プロセスに統合する反射的自己形式化手法を提案する。 これにより、モデルが形式的なステートメントを反復的に生成し、セマンティックな忠実さを評価し、自己修正された特定エラーを発生させることができる。 実験の結果、ReFormは最強のベースラインに対して平均22.6ポイントの改善を達成した。
  論文  参考訳（メタデータ） (2025-10-28T16:22:54Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• Information-Preserving Reformulation of Reasoning Traces for Antidistillation [80.99448418790125]
  本稿では, 推理トレースの消毒対策に関する情報保存手法を提案する。 この修正を行うために、小さな補助モデルが訓練され、最小の計算オーバーヘッドが生じる。 実験では、一部が、異なるサイズとタイプを持つ学生モデルの蒸留を一貫して破壊することを示した。
  論文  参考訳（メタデータ） (2025-10-13T15:42:11Z)
• Erase to Improve: Erasable Reinforcement Learning for Search-Augmented LLMs [18.37387666170851]
  脆弱な推論を堅牢なプロセスに変換する新しいフレームワークであるERLを提案する。 ERLは、障害ステップを明確に識別し、それらを消去し、推論をその場で再生し、欠陥論理が推論チェーンを通過するのを防ぐ。 ESearchと呼ばれるERLでトレーニングされたモデルは、HotpotQA、MuSiQue、2Wiki、Bamboogleで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-01T13:10:36Z)
• Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models [0.7910367295422812]
  大規模言語モデル(LLM)は誤りを犯し、非生産的推論経路を探索することができる。 自己補正機能は、安全クリティカルなアプリケーションにLLMをデプロイするために不可欠である。 LLMは、外部ソースから同一のエラーを修正しながら、自身の出力でエラーを修正することはできない。
  論文  参考訳（メタデータ） (2025-07-03T16:41:30Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。