論文の概要: PIVOT: Progressive Intervention via Online Teacher Correction

• arxiv url: http://arxiv.org/abs/2610.40576v1
• Date: Thu, 29 Oct 2026 17:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:34:01.247912
• Title: PIVOT: Progressive Intervention via Online Teacher Correction
• Title（参考訳）: PIVOT: オンライン教師矯正によるプログレッシブ・インターベンション
• Abstract要約: 検証可能な報酬(RLVR)からの強化学習は、難解な推論タスクに対する少ない結果レベルのフィードバックによって制限される。 本稿では,教員が生成した修正を学生のロールアウトに挿入し,これらのセグメントにトークンレベルのKL監督をRLVRの目的に沿って適用するPIVOTを紹介する。
• 参考スコア（独自算出の注目度）: 48.44518737623744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning from verifiable rewards (RLVR) is limited by sparse outcome-level feedback on hard reasoning tasks: when all rollouts in a group fail, rewards provide no learning signal. Stronger teachers can provide additional guidance, but this raises a central question: how can such signals be incorporated into RLVR to support successful rollouts while remaining learnable for the student? We distinguish two complementary mechanisms: trajectory-level intervention, which improves access to reward-bearing trajectories, and token-level supervision, which provides dense targets to guide student learning. Our controlled experiments show that either mechanism alone can remain insufficient, motivating their combination. We therefore introduce PIVOT, which inserts teacher-generated corrections into student rollouts and applies token-level KL supervision to these segments alongside the RLVR objective. Beyond their combination, we systematically analyze where to intervene and how to supervise, yielding a recipe for effective guidance. Across hard logic games and mathematical reasoning benchmarks, PIVOT consistently outperforms existing methods, nearly doubling mean avg@8 on logic games from 19.5% for the best-performing baseline to 35.6%.
• Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習は、厳格な推論タスクに対する少ない結果レベルのフィードバックによって制限される。 より強い教師は、追加のガイダンスを提供することができるが、これは中心的な疑問を提起する: 学生が学びながら、成功するロールアウトをサポートするために、そのようなシグナルをRLVRに組み込むにはどうすればいいのか? 我々は,報酬を伴う軌道へのアクセスを改善するトラジェクトリレベルの介入と,学生の学習をガイドする密集した目標を提供するトークンレベルの監督という2つの補完メカニズムを区別する。 制御された実験では、どちらのメカニズムも不十分なままであり、それらの組み合わせを動機付けることが示されている。 そこで,教員が生成した修正を学生のロールアウトに挿入し,これらのセグメントにトークンレベルのKLをRLVRの目的に沿って適用するPIVOTを導入する。 組み合わせを超えて、我々は、どこに介入するか、どのように監督するかを体系的に分析し、効果的な指導のためのレシピを導き出す。 ハードロジックゲームと数学的推論ベンチマーク全体において、PIVOTは既存の手法を常に上回り、論理ゲームの平均avg@8は19.5%から35.6%にほぼ倍増している。

関連論文リスト

• Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints [60.23381594831357]
  SeTPOは、選択的な教師指導と永続的な実演指導で学生の探索を調整する。 理想化された双方向KL目標の下では、最適政策が教師よりも期待される報酬を得られないことを理論的に証明する。 BFCL v4とAPI Bankの実験により、SeTPOは教師付き微調整、強化学習、蒸留ベースラインよりも全体的な性能が優れていることが示された。
  論文  参考訳（メタデータ） (2026-10-13T14:26:41Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• From Imitation to Reward Discovery: On-Policy Warmup for Agentic RL [31.97279969214853]
  検証可能な報酬(RLVR)による強化学習は、言語モデルエージェントのトレーニングにスケーラブルなアプローチを提供する。 本研究は,教師が教師を指導し,教師との交流の軌跡を学習する教育指導段階である,オンライン・ウォームアップ(OPW)について考察する。
  論文  参考訳（メタデータ） (2026-09-30T10:13:01Z)
• SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
  検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。 我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:15:41Z)
• Trapped by Their Own Rollouts: Understanding Aggregation--Rollout Feedback in Federated On-Policy Distillation [21.610540680175294]
  オンライン蒸留(OPD)は言語モデル適応への有望なアプローチである。 フェデレーションOPDについて検討し、学習速度の感度によってかなりのコラボレーションの利得が明らかになることを示した。 本稿では,FedAvg更新の規模をクライアントワイド予測変更制約に適応させるため,現在のトラジェクトリに対する教師のフィードバックを再利用するFedTOPSを提案する。
  論文  参考訳（メタデータ） (2026-09-26T12:48:43Z)
• CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
  信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。 GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2026-09-02T10:11:59Z)
• UniER: A Unified Benchmark for Item-level and Path-level Exercise Recommendation [53.62147575168325]
  We present a Unified Benchmark for Exercise Recommendation (UniER) UniERは、ILERとPLERを統合する包括的な評価フレームワークである。 本研究は, pleRの系統的優位性を明らかにするとともに, ILERのフラグメントドレコメンデーションの教育的失敗を明らかにするものである。
  論文  参考訳（メタデータ） (2026-05-16T02:07:58Z)
• Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
  Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。 軌道選択と教師選択の両方において,その実用性を実証する。
  論文  参考訳（メタデータ） (2026-01-20T18:58:10Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。