論文の概要: Explore with Memory, Learn without It: In-Context Exploration and Self-Distillation for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2610.17734v1
• Date: Tue, 13 Oct 2026 05:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.525145
• Title: Explore with Memory, Learn without It: In-Context Exploration and Self-Distillation for LLM Reasoning
• Title（参考訳）: LLM推論のためのインコンテクスト探索と自己蒸留
• Abstract要約: LEAFはロールアウト毎に問題固有のメモリをコンテキストに注入する。 4つのベンチマークと2つのオープンモデルにおいて、LEAFはランダムサンプリングベースラインと比較して約4倍の探索を加速する。 その結果、LEAFが探索と学習の効率を改善する可能性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 14.04901377922313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploration bounds learning efficiency in reinforcement learning with verifiable rewards (RLVR). Current methods explore mostly through independent sampling, without fully using the information gathered along the way, such as known wrong answers and environment feedback. We propose LEAF, which injects a dynamic, problem-specific memory into the context before every rollout. The memory contains the most recent response, its reward, and other environment feedback. It is updated after every verifier call. We decouple policy updates from rollouts and update the policy through self-distillation. On four benchmarks and two open models, LEAF accelerates exploration by about 4x compared with a random sampling baseline. On unseen test sets, it improves accuracy over the strongest baseline by 1.59 and 1.83 percentage points on the two models, while using less compute than any RL baseline. These results highlight the potential of LEAF in improving both exploration and learning efficiency. Code is available at: https://github.com/on1262/LEAF
• Abstract（参考訳）: 探索は、検証可能な報酬(RLVR)による強化学習における学習効率を制限している。 現在の手法は、主に独立したサンプリングを通じて、既知の誤った回答や環境フィードバックなど、途中で収集された情報を十分に利用せずに探索している。 本稿では,各ロールアウト前に動的,問題固有のメモリをコンテキストに注入するLEAFを提案する。 メモリには、最新の応答、報酬、その他の環境フィードバックが含まれている。 検証対象の呼び出し毎に更新される。 ポリシー更新をロールアウトから切り離し、自己蒸留を通じてポリシーを更新します。 4つのベンチマークと2つのオープンモデルにおいて、LEAFはランダムサンプリングベースラインと比較して約4倍の探索を加速する。 目に見えないテストセットでは、最強のベースラインよりも精度が1.59と1.83ポイント向上し、RLベースラインよりも少ない計算を使用する。 これらの結果は、LEAFが探索と学習効率の両方を改善する可能性を強調している。 コードは、https://github.com/on1262/LEAFで入手できる。

関連論文リスト

• Parameter Exploration for RLVR via Variational Learning [52.28666546574647]
  既存の多くの手法は、例えば温度スケーリングを用いて、アクション空間での探索を制御する。 そこで本研究では,異なるロールアウトを探索可能な後部から異なるポリシーをサンプリングすることにより,ロールアウトを生成するパラメータ空間探索について検討する。 実験により、これらの手法は標準のGRPOよりもほぼ同一のFLOPsコストで平均ダウンストリーム性能を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2026-08-10T16:28:07Z)
• From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory [27.810603317768997]
  大規模言語モデル(LLM)エージェントは、テスト時のエクスペリエンス改善が重要となる長時間実行環境にますますデプロイされる。 本稿では,メモリ更新処理を明示的にトレーニングし,逐次的相互作用による凍結LDMの性能向上を図るプラグインメモリコンパレータであるMemoPilotを提案する。 マルチラウンドRock-Paper-Scissors(RPS)とLimit Texas Hold'em(LHE)の2つのテストベッド上でMemoPilotを評価する。
  論文  参考訳（メタデータ） (2026-06-07T14:53:19Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Off-Policy Value-Based Reinforcement Learning for Large Language Models [25.962820072445222]
  ReValはベルマン更新に基づく手法で、内部の一貫性を捉える段階的な信号と、結果検証から導出される軌道レベルの信号を組み合わせる。 DeepSeek-R1-Distill-1.5Bでは、ReValはトレーニング効率を改善し、AIME24の2.7%、GRPOのGPQAの4.5%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-24T15:55:02Z)
• LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards [51.45138356629732]
  我々は,疎解報酬を高密度で検証可能な文脈報酬で増強するためにLongRLVRを導入する。 この補助信号は、正しい接地情報を選択するためのモデルを直接インセンティブ化する。 LongRLVRは、すべてのモデルとベンチマークで標準のRLVRよりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2026-03-02T18:07:53Z)
• Reinforcement Learning via Self-Distillation [37.078107691613155]
  大規模言語モデルは、コードや数学などの検証可能な領域で強化学習を施して、ポストトレーニングされている。 検証可能な報酬(RLVR)を用いた強化学習の現在の手法は、試みごとにスカラーな結果報酬からのみ学習し、深刻な信用割り当てボトルネックを生み出す。 我々は、この設定をリッチフィードバックによる強化学習として定式化し、自己蒸留政策最適化(SDPO)を導入する。 SDPOは、トークン化されたフィードバックを、外部教師や明示的な報酬モデルなしで、密集した学習信号に変換する。
  論文  参考訳（メタデータ） (2026-01-28T17:45:12Z)
• T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling [52.34735382627312]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示した。 既存のアプローチは主に、効果的なテストタイムスケーリングを達成するために、模倣学習と苦労に依存しています。 我々は、探索を奨励し、推論スケーリングを理解することで、強化学習をスケールするためにT1を提案する。
  論文  参考訳（メタデータ） (2025-01-20T18:33:33Z)
• Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods [1.9799527196428242]
  大規模言語モデルアンラーニングは、LLMが悪意ある目的のために使用するのを防ぐために学んだ有害な情報を除去することを目的としている。 アンラーニングが一般的なモデル能力に顕著な影響を与えていることを示す。 簡単な方法で5ショットのプロンプトやリフレーズを行うことで、未学習ベンチマークの精度が10倍以上に向上する可能性があることを示す。
  論文  参考訳（メタデータ） (2024-11-18T22:31:17Z)
• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  RLE(Random Latent Exploration)は、強化学習における単純かつ効果的な探索戦略である。 RLEは、エージェントの行動を混乱させるノイズベースの手法と、新しい行動を試みるエージェントに報酬を与えるボーナスベースの探索を平均的に上回る。 RLEはノイズベースの手法と同じくらい単純であり、複雑なボーナス計算は避けるが、ボーナスベースの手法の深い探索の利点を保っている。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)
• Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
  自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。 実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。 学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
  論文  参考訳（メタデータ） (2023-04-04T22:45:50Z)
• Memory Population in Continual Learning via Outlier Elimination [25.511380924335207]
  破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。 忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。 本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファ内の外れ値の識別と除去を行うメモリ・アウトレイラ除去法(MOE)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T00:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。