論文の概要: PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.01837v1
• Date: Mon, 03 Aug 2026 07:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.387604
• Title: PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning
• Title（参考訳）: PCSD:エージェント強化学習における自己蒸留の持続的一貫性
• Abstract要約: オンラインの自己蒸留は、特権のある教師から密集したトークンレベルの監督を提供する。 既存の方法は、ノイズに敏感な孤立したトークンレベルの不一致に依存している。 本稿では,教師が好む信号の局所的持続性からトークンレベルの蒸留重量を導出する,一貫性持続型自己蒸留(PCSD)を提案する。
• 参考スコア（独自算出の注目度）: 47.656931433805745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents have shown strong potential in complex interactive tasks, yet their reinforcement learning (RL) is often hindered by sparse rewards, as a long multi-turn trajectory may receive only a single outcome-level signal. On-policy self-distillation (OPSD) provides dense token-level supervision from a privileged teacher, but the teacher may not be reliable at every position. Existing methods commonly rely on isolated token-level discrepancies, which can be sensitive to noise, or assign a shared step-level weight that may overlook positional variation. We propose Persistent Consistency Self-Distillation (PCSD), which derives token-level distillation weights from the local persistence of teacher-favoring signals. PCSD combines adaptive windows with exponentially decayed aggregation to capture persistent relative teacher support, applies trend-aware modulation to attenuate locally declining support, and produces continuous weights through sigmoid gating. The resulting objective is jointly optimized with GRPO, combining dense teacher guidance with sparse environmental feedback. Without inference-time skills, PCSD achieves the best ALFWorld Overall results among all baselines on both backbones, exceeding GRPO by 15.6 and 13.3 points and SDAR by 6.2 and 5.5 points, while remaining competitive on WebShop and gaining 15.8 points over GRPO on unseen ALFWorld split.
• Abstract（参考訳）: 大規模言語モデルエージェントは複雑な対話タスクにおいて強いポテンシャルを示してきたが、その強化学習(RL)は、長いマルチターン軌道が単一の結果レベルの信号しか受信できないため、しばしばスパース報酬によって妨げられる。 On-policy Self-distillation (OPSD) は特権を持つ教師から密集したトークンレベルの監督を提供するが、教師はあらゆる立場で信頼できないかもしれない。 既存の手法では、ノイズに敏感な孤立トークンレベルの不一致や、位置変化を無視する可能性のある共有ステップレベルの重みを割り当てることが一般的である。 本稿では,教師に好まれる信号の局所的持続性からトークンレベルの蒸留重量を導出するPCSD(Persistent Consistency Self-Distillation)を提案する。 PCSDは適応ウィンドウと指数関数的に崩壊した集約を組み合わせて、永続的な教師サポートを捕捉し、トレンドアウェアの変調を適用して局所的に減少するサポートを減らし、シグモイドゲーティングを通じて連続的な重みを発生させる。 得られた目的はGRPOと共同で最適化され,教師指導と環境フィードバックの疎結合が図られる。 推測タイムのスキルがなければ、PCSDはGRPOを15.6ポイント、13.3ポイント、SDARを6.2ポイント、5.5ポイント、WebShopを15.8ポイント上回った。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets [51.490743278360064]
  本稿では,ノイズを共同で抑制し,伝達可能な知識を残さずに保持するトラジェクトリベースのDDフレームワークを提案する。 SGR(Selective Guidance Reweighting)とTIAT(Teacher-Inspireed Auxiliary Targets)の2つの補完的なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-06-29T06:24:53Z)
• Self-Distilled Policy Gradient [51.95967256628261]
  都市の自己蒸留は、スパース・リワード強化学習のための密集した監督源として有望である。 SDPGは,グループ相対検証の利点と正規化標準偏差を組み合わせた,自己蒸留型政策段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T02:31:13Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• Respecting Self-Uncertainty in On-Policy Self-Distillation for Efficient LLM Reasoning [43.9367673156851]
  オンライン自己蒸留は、教師が密集したトークンレベルの監督を提供する間、独自のロールアウトで推論モデルを訓練する。 トークンレベルの更新を3つの信号で統一するEGRSD(Entropy-Guided Reinforced Self-Distillation)を提案する。 CL-EGRSDは、持続する高エントロピースパンと過渡的な高エントロピー位置を区別する因果関係の変種である。
  論文  参考訳（メタデータ） (2026-05-13T09:38:20Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting [17.504616835765617]
  両経路適応型学習フレームワークを提案する。 SCOPEは、Avg@32で11.42%、Pass@32で7.30%の平均相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-04-12T15:26:14Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。