論文の概要: Learning to Coach for Experiential Learning

• arxiv url: http://arxiv.org/abs/2609.15851v1
• Date: Mon, 14 Sep 2026 16:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.517566
• Title: Learning to Coach for Experiential Learning
• Title（参考訳）: 経験的学習のためのコーチへの学び
• Abstract要約: Learning to Coach(L2C)は、アクターモデルの以前の軌道から実行可能な経験的知識を抽出するために、専用のLLM-as-a-Coachを訓練するフレームワークである。 このような報奨は、元の問題に対するその後の応答を改善する同インスタンス報酬と、他のインスタンスに転送する知識を付与するクロスインスタンス報酬の2つについて検討する。
• 参考スコア（独自算出の注目度）: 87.60566791835225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models can learn from experience, but raw solution trajectories are often too long and noisy to provide effective guidance. In this work, we propose Learning to Coach (L2C), a framework that trains a dedicated LLM-as-a-Coach to extract actionable experiential knowledge from an actor model's previous trajectory. The actor remains frozen, while the LLM-as-a-Coach is trained to maximize a reward given by the correctness of the actor's guided response. We study two such rewards: a same-instance reward, which improves subsequent responses on the original problem, and a cross-instance reward, which elicits knowledge that transfers to other instances. Across mathematical reasoning and interactive text-games, L2C consistently outperforms self-refinement and an untrained LLM-as-a-Coach. Running experiential learning for more iterations further improves accuracy and uses additional inference compute more effectively than enlarging the actor's decoding budget. The trained LLM-as-a-Coach also transfers to out-of-distribution tasks and adapts its guidance to the specific actor it coaches.
• Abstract（参考訳）: 言語モデルは経験から学ぶことができるが、生のソリューションの軌道はしばしば、効果的なガイダンスを提供するには長すぎてうるさい。 本研究では、アクターモデルの以前の軌道から実行可能な経験的知識を抽出するために、専用のLLM-as-a-Coachを訓練するフレームワークであるL2C(Learning to Coach)を提案する。 LLM-as-a-Coachは、俳優の指示された反応の正しさによって与えられる報酬を最大限にするために訓練される。 このような報奨は、元の問題に対するその後の応答を改善する同インスタンス報酬と、他のインスタンスに転送する知識を付与するクロスインスタンス報酬の2つについて検討する。 数学的推論とインタラクティブなテキストゲームを通じて、L2Cは一貫して自己制限と訓練されていないLLM-as-a-Coachを上回ります。 より多くのイテレーションで経験的学習を行うことで精度が向上し、アクターの復号予算を大きくするよりも推論計算を効果的に活用する。 訓練されたLLM-as-a-Coachは、アウト・オブ・ディストリビューションのタスクにも移行し、コーチする特定のアクターにガイダンスを適用する。

関連論文リスト

• Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages [51.86479668480496]
  私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。 オフライン報酬条件強化学習に触発されたイントロスペクティブトレーニング(IXT)を提案する。 IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-05-19T06:04:08Z)
• Accelerating Reinforcement Learning Algorithms Convergence using Pre-trained Large Language Models as Tutors With Advice Reusing [5.414308305392762]
  大規模言語モデル (LLM) は、強化学習 (RL) アルゴリズムを用いた学生-教師アーキテクチャの家庭教師である。 以上の結果から,LLMのチュータリングはRLの収束を著しく促進し,最適性能の維持を図っている。 アドバイス再利用機構は、トレーニング期間をさらに改善するだけでなく、より安定した収束ダイナミクスをもたらす。
  論文  参考訳（メタデータ） (2025-09-10T07:08:04Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Lessons Learned: A Multi-Agent Framework for Code LLMs to Learn and Improve [9.893319057671711]
  エージェントのチームは、お互いの成功と失敗から学び、自身のパフォーマンスを改善することができる、と私たちは主張する。 本研究では,授業ベースのコラボレーションフレームワークを提案し,授業ソリケーション-バンク選択機構を設計し,学習した小さなLLMのチームがより大きなLLMを上回り得ることを示す。
  論文  参考訳（メタデータ） (2025-05-29T18:56:20Z)
• Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
  LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。 誤差ステップの反射や補正を含む自己反射軌道を合成する。 実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:11:12Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Enhancing Reasoning through Process Supervision with Monte Carlo Tree Search [2.1637240640145343]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。 LLMの推論能力を改善するために、プロセスの監督は結果の監督よりも優れていることが証明されている。 本研究では,モンテカルロ木探索(MCTS)を用いてLLM自体を用いてプロセス監視データを生成する。
  論文  参考訳（メタデータ） (2025-01-02T12:09:17Z)
• Video2Reward: Generating Reward Function from Videos for Legged Robot Behavior Learning [27.233232260388682]
  そこで本研究では,シミュレーションや学習を行うビデオから報酬関数を直接生成する,新しい video2reward 手法を提案する。 本手法は,人間の正規化スコアにおいて,最先端のLCMに基づく報酬生成手法の性能を37.6%以上上回る。
  論文  参考訳（メタデータ） (2024-12-07T03:10:27Z)
• Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs [6.090496490133132]
  本稿では,従来のRLHFのフィードバックに取って代わるバイアス緩和手法であるReinforcement Learning from Multi-role Debates as Feedback (RLDF)を提案する。 強化学習における報酬モデルのトレーニングに,高バイアスと低バイアスの両方のインスタンスを含むデータセットを作成するために,LLMをマルチロール討論に活用する。
  論文  参考訳（メタデータ） (2024-04-15T22:18:50Z)
• CEM: A Data-Efficient Method for Large Language Models to Continue Evolving From Mistakes [36.14056870453356]
  大きな言語モデルを維持し、その欠点に対処するためには、継続的な学習が不可欠です。 本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。 実験の結果、CEMはドメイン内QAタスクとドメイン外QAタスクの両方で複数のモデルの性能を大幅に向上させ、最大29.63%のゲインを達成している。
  論文  参考訳（メタデータ） (2024-04-11T17:44:56Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。