論文の概要: Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation

• arxiv url: http://arxiv.org/abs/2604.14339v1
• Date: Wed, 15 Apr 2026 18:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:29.999253
• Title: Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation
• Title（参考訳）: コンテキストシャッフル: 長期適応のためのRoPEによる自己蒸留
• Authors: Zichong Li, Chen Liang, Liliang Ren, Tuo Zhao, Yelong Shen, Weizhu Chen,
• Abstract要約: 大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
• 参考スコア（独自算出の注目度）: 86.62036852878354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) increasingly operate in settings that require reliable long-context understanding, such as retrieval-augmented generation and multi-document reasoning. A common strategy is to fine-tune pretrained short-context models at the target sequence length. However, we find that standard long-context adaptation can remain brittle: model accuracy depends strongly on the absolute placement of relevant evidence, exhibiting high positional variance even when controlling for task format and difficulty. We propose RoPE-Perturbed Self-Distillation, a training regularizer that improves positional robustness. The core idea is to form alternative "views" of the same training sequence by perturbing its RoPE indices -- effectively moving parts of the context to different positions -- and to train the model to produce consistent predictions across views via self-distillation. This encourages reliance on semantic signals instead of brittle position dependencies. Experiments on long-context adaptation of Llama-3-8B and Qwen-3-4B demonstrate consistent gains on long-context benchmarks, including up to 12.04% improvement on RULER-64K for Llama-3-8B and 2.71% on RULER-256K for Qwen-3-4B after SFT, alongside improved length extrapolation beyond the training context window.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、検索拡張生成やマルチドキュメント推論など、信頼性の高い長文理解を必要とする設定でますます運用されている。 一般的な戦略は、トレーニング済みのショートコンテクストモデルをターゲットシーケンス長で微調整することである。 モデル精度は関連する証拠の絶対配置に強く依存しており、タスク形式や難易度を制御しても高い位置差を示す。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 中心となる考え方は、RoPEインデックスを摂動することで、同じトレーニングシーケンスの代替の"ビュー"を形成することであり、コンテキストの一部を異なる位置に効果的に移動させることで、自己蒸留を通じてビュー全体で一貫した予測を生成するようにモデルをトレーニングすることである。 これにより、不安定な位置依存に代えてセマンティックシグナルへの依存が促進される。 Llama-3-8BとQwen-3-4Bの長期適応実験では、Llama-3-8BのRULER-64Kが最大12.04%改善され、SFT後のQwen-3-4BのRULER-256Kが2.71%改善され、トレーニングコンテキストウインドウ以外の長さ外挿も改善された。

関連論文リスト

• PolicyLong: Towards On-Policy Context Extension [23.33185151859789]
  本稿では,データ構築を動的なオン・ポリティクスパラダイムにシフトするポリシLongを提案する。 データスクリーニングを反復的に再実行することで、PolicyLongは、進化する能力のトレーニングディストリビューショントラックを保証する。 PolicyLong は EntropyLong と NExtLong を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-09T05:07:57Z)
• SPELL: Self-Play Reinforcement Learning for evolving Long-Context Language Models [79.01078135582127]
  SPELLは、長文推論のためのスケーラブルでラベルなしの最適化を可能にする。 本稿では、文書長を徐々に向上させる自動カリキュラムと、モデルの進化する機能に質問の難しさを適応させる報奨関数を導入する。
  論文  参考訳（メタデータ） (2025-09-28T13:08:10Z)
• Effective Length Extrapolation via Dimension-Wise Positional Embeddings Manipulation [60.22622442950905]
  大型言語モデル(LLM)は、入力トークンの数がトレーニング済みの長さを超えると、コヒーレントなコンテキストを処理し、生成するのに苦労することが多い。 長文拡張の最近の進歩は、LLMのコンテキストウィンドウを大きく拡張した。 LLMのコンテキストウィンドウを外挿するためのDPE(Dmension-Wise Positional Embeddings Manipulation)を提案する。
  論文  参考訳（メタデータ） (2025-04-26T08:46:10Z)
• LongRoPE2: Near-Lossless LLM Context Window Scaling [46.936900701411965]
  LongRoPE2は、トレーニング済みの大規模言語モデル(LLM)の効果的なコンテキストウィンドウをターゲット長に拡張する、新しいアプローチである。 提案手法は,(1) 従来の手法で観測された分布外問題に対して,RoPE次元のトレーニングが不十分であるという仮説,(2) 不十分なトレーニング問題に対処するために,"needle-driven" パープレクシリティによって導かれる進化的探索を採用する効果的なRoPE再スケーリングアルゴリズム,(3) 細管モデル重みを長文配列に適用するための混合コンテキストウィンドウトレーニングアプローチ,の3つによって達成される。
  論文  参考訳（メタデータ） (2025-02-27T13:41:07Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。