論文の概要: CORE: Contrastive Reflection Enables Rapid Improvements in Reasoning

• arxiv url: http://arxiv.org/abs/2605.28742v1
• Date: Wed, 27 May 2026 17:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.236974
• Title: CORE: Contrastive Reflection Enables Rapid Improvements in Reasoning
• Title（参考訳）: CORE: 対照的なリフレクションは推論の迅速な改善を可能にする
• Authors: Linas Nasvytis, Simon Jerome Han, Ben Prystawski, Satchel Grant, Noah D. Goodman, Judith E. Fan,
• Abstract要約: コントラスト反射(Contrastive Reflection、CORE)は、過去の推論トレースを比較して洞察を生成する非パラメトリック学習アルゴリズムである。 その結果, CORE はパラメトリック (GRPO) 法と非パラメトリック (GEPA, エピソードRAG, MemRL) 法の両方よりも高速に改善でき, ロールアウトも少ないことがわかった。
• 参考スコア（独自算出の注目度）: 30.16426867103063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can use verifiable rewards to improve at a wide variety of reasoning tasks. However, both parametric (e.g. RLVR) and non-parametric (e.g. prompt optimization) approaches to doing so typically require hundreds of training samples and thousands of model rollouts, making them expensive in the best case and intractable in the worst. To address this challenge, we introduce Contrastive Reflection (CORE), a non-parametric learning algorithm that compares past reasoning traces to generate insights: short natural-language descriptions of reasoning strategies and constraints that capture differences between successful and unsuccessful problem attempts. Across four reasoning tasks, we demonstrate that CORE enables more rapid improvement than both parametric (GRPO) and non-parametric (GEPA, episodic RAG, and MemRL) methods, while using fewer rollouts. Under fixed rollout budgets with as few as five training samples, we then show that CORE also achieves comparable or greater performance gains than each baseline. Finally, we highlight how CORE is also substantially more context-efficient than non-parametric baselines, requiring fewer prompt tokens while storing learned knowledge as compact, interpretable natural-language insights. Our results therefore suggest that distilling contrasts between successful and unsuccessful reasoning traces into abstract and useful insights can provide a more efficient and interpretable route to model self-improvement than weight updates, prompt optimization, or direct reuse of stored reasoning traces.
• Abstract（参考訳）: 言語モデルは、検証可能な報酬を使用して、さまざまな推論タスクを改善することができる。 しかしながら、パラメトリック(例えばRLVR)と非パラメトリック(例えば、プロンプト最適化)の両方のアプローチでは、通常は数百のトレーニングサンプルと数千のモデルロールアウトが必要であり、最高のケースでは高価であり、最悪の場合には難航する可能性がある。 この課題に対処するために,従来の推論トレースを比較して洞察を生成する非パラメトリック学習アルゴリズムであるContrastive Reflection (CORE)を導入する。 その結果, CORE はパラメトリック (GRPO) 法と非パラメトリック (GEPA, エピソードRAG, MemRL) 法の両方よりも高速な改善が可能であり, ロールアウトは少ないことがわかった。 トレーニングサンプルが5つにも満たない,固定的なロールアウト予算の下では,COREが各ベースラインよりも同等あるいは高いパフォーマンス向上を実現していることを示す。 最後に、COREが非パラメトリックベースラインよりもコンテキスト効率が高いことを強調し、学習知識をコンパクトで解釈可能な自然言語の洞察として保存しながら、プロンプトトークンを少なくする。 以上の結果から, 提案手法は, 提案手法を最適化し, より効率的に自己改善を図り, 即時最適化し, 蓄積した推論トレースを直接再利用する手法として有用であることがわかった。

関連論文リスト

• Better, Faster: Harnessing Self-Improvement in Large Reasoning Models [88.9107786925265]
  本稿では,2つの単純なyet- Effectiveアプローチにより,大規模推論モデルにおける自己改善を効果的に促進するHSIRを提案する。 具体的には、HSIRはデータの不均衡を軽減するために、検証済みの外部サンプリング戦略を導入する。 HSIRはまた、望ましくないソリューションを定量化しフィルタリングするために、固有の多様性スコアも設計している。
  論文  参考訳（メタデータ） (2026-05-24T10:54:46Z)
• Fast Thinking for Large Language Models [67.7238685892317]
  我々は、訓練中にのみ簡潔なCoTスケッチを使用して個別戦略事前のコードブックを学習するフレームワークであるLatent Codebooks for Fast Thinkingを紹介した。 推論では、コードブックから抽出した少数の連続的思考スイッチのモデル条件を1パスにすることで、明確な推論トークンを生成することなく、戦略レベルのガイダンスを可能にする。
  論文  参考訳（メタデータ） (2025-09-28T04:19:48Z)
• Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
  本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。 提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。 GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-06-18T21:15:59Z)
• ReCUT: Balancing Reasoning Length and Accuracy in LLMs via Stepwise Trails and Preference Optimization [16.51303604678232]
  Reasoning Compression ThroUgh Stepwise Trials (ReCUT) は推論軌道の精度と長さのバランスをとるための新しい手法である。 複数の数学推論データセットとバックボーンモデルによる実験結果から、ReCUTは推論の長さを約30～50%削減することが示された。
  論文  参考訳（メタデータ） (2025-06-12T15:43:01Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Think Deep, Think Fast: Investigating Efficiency of Verifier-free Inference-time-scaling Methods [39.89239733570008]
  本研究は推論モデルと非推論モデルの両方に対する推論時間スケーリング手法を包括的に解析する。 非推論モデルは、非常に高い推論予算にもかかわらず、推論モデルに大きく遅れていることが分かっています。 推論モデルでは、多数決は堅牢な推論戦略であり、一般的に競争力があるか、あるいは他のより洗練されたITC手法よりも優れていることが証明されている。
  論文  参考訳（メタデータ） (2025-04-18T19:32:55Z)
• DialCoT Meets PPO: Decomposing and Exploring Reasoning Paths in Smaller Language Models [18.96271708412086]
  CoT(Chain-of-Thought)プロンプトは、少なくとも1000億のパラメータを持つLLM(Large Language Models)の推論能力を高めるのに有効であることが証明されている。 本稿では,ダイアログ誘導型Chain-of-Thought(DialCoT)について紹介する。
  論文  参考訳（メタデータ） (2023-10-08T08:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。