論文の概要: OPSDL: On-Policy Self-Distillation for Long-Context Language Models
- arxiv url: http://arxiv.org/abs/2604.17535v1
- Date: Sun, 19 Apr 2026 16:53:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.574503
- Title: OPSDL: On-Policy Self-Distillation for Long-Context Language Models
- Title（参考訳）: OPSDL:長期言語モデルのためのオンライン自己拡張
- Abstract要約: OPSDL (On-Policy Self-Distillation) は、大規模言語モデルの長文能力を高めるためのオンライン自己蒸留法である。
OPSDLを7Bから32Bパラメータの長文ベンチマークで評価した。
- 参考スコア（独自算出の注目度）: 3.2617036218058413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extending the effective context length of large language models (LLMs) remains a central challenge for real-world applications. While recent post-training methods have made progress in long-context scaling, they either rely on high-quality supervision data or sparse sequence-level rewards, leading to unstable and inefficient optimization. We propose OPSDL, an On-Policy Self-Distillation method for enhancing the Long-context capabilities of LLMs. Unlike other recent self-distillation methods that inject privileged information and rely on the model's in-context learning ability to act as a teacher, OPSDL leverages the model's own inherently strong short-context capability as a self-teacher to supervise its own generation in long-context scenarios. The model first generates responses conditioned on the full long-context, then the self-teacher provides per-token supervision signals via point-wise reverse KL divergence under the relevant extracted short-context. This dense token-level signal encourages faithful use of relevant evidence and mitigates hallucinations induced by irrelevant context. We evaluate OPSDL on long-context benchmarks across a range of models from 7B to 32B parameters. Results show consistent and substantial improvements across varying context lengths, outperforming standard post-training approaches such as SFT and DPO with higher sample efficiency. Notably, these gains are achieved without degrading general short-context performance. These findings highlight the effectiveness of OPSDL as a scalable and stable approach for long-context learning.
- Abstract（参考訳）: 大規模言語モデル(LLM)の有効コンテキスト長を拡張することは、現実世界のアプリケーションにとって重要な課題である。
最近のポストトレーニング手法は、長期コンテキストのスケーリングに進歩しているが、それらは高品質の監視データまたはスパースシーケンスレベルの報酬に依存しており、不安定で非効率な最適化につながっている。
我々は,LLMの長文化能力を高めるためのオンライン自己蒸留法であるOPSDLを提案する。
特権情報を注入し、教師として振る舞うためのモデル内での学習能力に依存する、他の最近の自己蒸留法とは異なり、OPSDLは、自己教師として本質的に強力な短文能力を活用して、長いコンテキストシナリオにおいて自身の世代を監督する。
モデルはまず、全長コンテキストで条件付き応答を生成し、その後、自己学習者は、関連する抽出された短コンテキストの下で、ポイントワイド逆KL分散を介して、トーケン毎の監視信号を提供する。
この密集したトークンレベルのシグナルは、関連する証拠の忠実な使用を促進し、無関係な文脈によって引き起こされる幻覚を緩和する。
OPSDLを7Bから32Bパラメータの長文ベンチマークで評価した。
その結果,SFT や DPO などの訓練後の標準的な手法よりも高い効率で,コンテキスト長の異なる改良が得られた。
特に、これらの利得は一般的な短文性能を低下させることなく達成される。
これらの結果は,長期学習のためのスケーラブルで安定したアプローチとしてのOPSDLの有効性を浮き彫りにした。
関連論文リスト
- Combining On-Policy Optimization and Distillation for Long-Context Reasoning in Large Language Models [21.053554352318738]
長文推論のためのDGRPO(Distilled Group Relative Policy Optimization)を提案する。
また、マルチホップ推論、コンテキストグラウンド、長文生成にまたがる合成長文データセットであるLongBlocksについても紹介する。
結果から, 結果に基づく政策最適化と知識蒸留を一つの目的に組み合わせることで, より安定かつ効果的に長文推論を行うことができることがわかった。
論文 参考訳（メタデータ） (2026-05-12T15:04:18Z) - Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning [0.7340845393655052]
本稿では,大規模言語モデル(LLM)の逐次決定設定におけるICL機能について検討する。
LLMを微調整して、オフラインのオラクルラベルの軌道から直接、数ショットの意思決定を行う。
我々のフレームワークは、教師付き微調整によるポリシーのフレキシブルな模倣を可能にする。
論文 参考訳（メタデータ） (2026-05-09T15:49:49Z) - Embedding-based In-Context Prompt Training for Enhancing LLMs as Text Encoders [20.530146256745414]
EPICは、大規模な言語モデルのための新しい組込み型インコンテキスト・プロンプト・トレーニング戦略である。
学習と推論の双方で計算負担を軽減しつつ、高品質な埋め込みを生成する。
論文 参考訳（メタデータ） (2026-05-02T10:31:01Z) - LongRM: Revealing and Unlocking the Context Boundary of Reward Modeling [45.520815757751194]
長コンテキストRM評価に特化して設計されたベンチマークであるLong-RewardBenchを紹介する。
予備研究により、最先端の生成型RMでさえ、長いコンテキストシナリオにおいて重大な脆弱性を示すことが明らかとなった。
本稿では、任意のモデルを堅牢なLong-context RMに効果的にスケールする一般的なマルチステージトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2025-10-08T11:48:16Z) - Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines [71.14354526117958]
In-context Learning (ICL) は、事前訓練された大規模言語モデル(LLM)の重要かつ完全には理解されていない能力である。
タスク言語とフォーマット特性をキャプチャする2つのガイドラインの並列ストリームを効率よく生成するLongGuideを提案する。
LongGuideはガイドラインの最良の組み合わせを自動的に選択し、ゼロショット設定と少数ショット設定の両方で、強力なオープンソースLLMとクローズドソースLLMの両方を5%以上改善する。
論文 参考訳（メタデータ） (2025-06-02T02:35:24Z) - Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
RLHF(Reinforcement Learning from Human Feedback)は,大規模言語モデル(LLM)の整合化に成功している。
我々は、長さバイアス軽減と長さ指示に従うモデルの性能を高めるために、$textbfR$esponse-$textbfc$onditioned $textbfB$radley-$textbfT$erry (Rc-BT)モデルを導入する。
また、報酬モデルと直接ポリシー最適化のためにRc-BTモデルを利用するRc-RMおよびRc-DPOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-02T14:50:25Z) - What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。
パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。
長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
論文 参考訳（メタデータ） (2024-10-31T09:39:28Z) - LongReward: Improving Long-context Large Language Models with AI Feedback [54.3321542678909]
LongRewardは、4次元の長文モデル応答に対して報酬を与える新しい方法である。
実験の結果,LongRewardはモデル長文性能を大幅に向上するだけでなく,短い命令に従う能力も向上することがわかった。
論文 参考訳（メタデータ） (2024-10-28T17:50:42Z) - GATEAU: Selecting Influential Samples for Long Context Alignment [59.579128690086385]
GATEAUは、長距離依存関係に富む影響力のあるサンプルを同定する。
選択されたサンプルに基づいて訓練されたモデルは、より良い指示追従と長文理解能力を示す。
論文 参考訳（メタデータ） (2024-10-21T04:30:53Z) - A Controlled Study on Long Context Extension and Generalization in LLMs [85.4758128256142]
広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。
長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。
我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
論文 参考訳（メタデータ） (2024-09-18T17:53:17Z) - LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。
我々は合成データを作成する2つの新しい方法を開発した。
LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-06-02T03:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。