論文の概要: Beyond Timestamps: Decision-Aligned On-Policy Distillation for Long-Horizon Agents
- arxiv url: http://arxiv.org/abs/2609.33391v1
- Date: Sun, 27 Sep 2026 09:13:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:26:02.398696
- Title: Beyond Timestamps: Decision-Aligned On-Policy Distillation for Long-Horizon Agents
- Title（参考訳）: タイムスタンプを超えて:ロングホライゾン剤のオンライン蒸留法
- Abstract要約: 我々は、クレジットを割り当てる前に監督を調整する原則に従って、textscAlignOPSDを導入する。
決定アライメント・スーパービジョン・リクティフィケーション (Decision-Aligned Supervision Rectification) は、機能的に一致したコンテキストにおいて、同じ学生による応答を再スコアする。
セミマルコフ階層的信用割当は、対応変更から変数デューレーション決定を導出する。
- 参考スコア（独自算出の注目度）: 18.397113238038234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) often relies on sparse outcome rewards, providing coarse supervision for long-horizon agents. On-policy self-distillation (OPSD) complements this signal with dense privileged feedback. However, we identify \emph{Decision--Timestamp Mismatch}: privileged guidance may be misaligned with the student's functional decision because the corresponding decision can occur at a different timestep, while the student's decision itself may span multiple timesteps rather than being tied to a single timestamp. Thus, timestamp-local supervision can misalign both the context and the temporal scope of credit. To address this mismatch, we introduce \textsc{AlignOPSD}, following the principle of aligning supervision before assigning credit. Decision-Aligned Supervision Rectification re-scores the same student-sampled response in functionally matched contexts across sibling rollouts to calibrate local teacher evidence. Semi-Markov Hierarchical Credit Assignment then derives variable-duration decision spans from correspondence changes and uses rectified evidence to allocate outcome-grounded credit across spans and their constituent turns. We evaluate \textsc{AlignOPSD} with Qwen2.5-3B and Qwen2.5-7B on ALFWorld, WebShop, and Search-QA against representative baselines. \textsc{AlignOPSD} outperforms both GRPO and StepOPSD across all eight backbone--aggregate-metric comparisons, improving on GRPO by 5.5--8.7 \% and ranking first in six. Additional analyzes examine the two alignment stages and hyperparameter sensitivity between tasks. Our code is avaliable at https://github.com/mingju-c/Align-OPSD
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、しばしば粗末な成果報酬に依存し、長期のエージェントに対する粗い監督を提供する。
On-policy self-distillation (OPSD)は、このシグナルを高密度な特権フィードバックで補完する。
特権的指導は、学生が一つのタイムスタンプに縛られるのではなく、複数のタイムスタンプにまたがる可能性があるのに対して、対応する決定は異なるタイミングで起こりうるため、学生の機能的決定と不一致である可能性がある。
したがって、タイムスタンプによる監督は、状況と時間的信用の範囲の両方を誤認することができる。
このミスマッチに対処するために、クレジットを割り当てる前に監督を調整するという原則に従って、 \textsc{AlignOPSD}を紹介します。
Decision-Aligned Supervision Rectificationは、地元の教師の証拠を校正するために、兄弟姉妹のロールアウトにまたがって機能的にマッチしたコンテキストで、同じ学生による反応を再スコアする。
半マルコフ階層的信用割り当て(英語版)は、対応変更から変数デューレーション決定を導出し、修正された証拠を使用して、スパンとそれらの構成ターンをまたいだ結果グラウンドの信用を割り当てる。
ALFWorld, WebShop, Search-QA で Qwen2.5-3B と Qwen2.5-7B を用いて \textsc{AlignOPSD} の評価を行った。
\textsc{AlignOPSD}はGRPOとStepOPSDを8つのバックボーンで比較し、GRPOを5.5～8.7%改善し、6位にランク付けした。
追加分析では、タスク間の2つのアライメントステージとハイパーパラメータの感度について調べる。
私たちのコードはhttps://github.com/mingju-c/Align-OPSDで有効です。
関連論文リスト
- Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。
既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。
Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
論文 参考訳（メタデータ） (2026-09-28T14:10:01Z) - SIPO: Selective-Inference Policy Optimization for Tree-Structured Agentic RL [23.46401628317993]
本稿では、この区別をツリーベースの信用評価に組み込んだ選択推論ポリシー最適化(SIPO)を提案する。
そのスケールのない分岐基準は、一貫した相対的なスケールで生成スコアと兄弟のペナルティを保持する。
SIPOは比較手法の中で最も高いマルチホップとシングルホップの平均を達成している。
論文 参考訳（メタデータ） (2026-09-28T10:09:48Z) - Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning [45.361080098317665]
グラウンドドビデオ質問応答や時間的グラウンド化のようなビデオ推論タスクは、クエリをサポートする時間的エビデンスを選択する必要がある。
凍結検証器がトレーニングをガイドできるかどうかについて検討する。
我々のフレームワークは、トレーニング可能なEmphGrounderと凍結したEmphVerifierを結合する: Grounderは候補の軌跡とエビデンスセグメントをサンプリングする。
論文 参考訳（メタデータ） (2026-08-25T07:46:32Z) - BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳（メタデータ） (2026-08-09T15:32:16Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Memory in Large Language Models: Mechanisms, Evaluation and Evolution [8.158439933515131]
我々は,4つの分類法(パラメトリック,文脈,外部,手続き/エピソード)とメモリ四倍法(ロケーション,永続性,書き込み/アクセスパス,制御性)を提案する。
DMM Gov: DAPT/TAPT, PEFT, モデル編集(ROME, MEND, MEMIT, SERAC)、RAGをコーディネートして監査可能なループを形成する。
これにより、再現可能で、同等で、統制可能な、研究と展開のための座標系が得られる。
論文 参考訳（メタデータ） (2025-09-23T10:06:58Z) - Exploiting Tree Structure for Credit Assignment in RL Training of LLMs [11.64053639889468]
強化学習は推論を改善するが、長いシーケンスよりも遅れた報酬はトークンレベルのクレジット割り当てを重要なボトルネックにする。
最終回答がチェック可能で、プロンプト毎に複数の応答を描画できる検証可能な逆設定について検討する。
textbfTEMPO (emphtextbfTree-textbfEstimated textbfMean Prefix Value for textbfPolicy textbfOptimization)を提案する。
論文 参考訳（メタデータ） (2025-09-22T18:37:24Z) - Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。
動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。
提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
論文 参考訳（メタデータ） (2024-08-30T15:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。