論文の概要: Randomized YaRN Improves Length Generalization for Long-Context Reasoning

• arxiv url: http://arxiv.org/abs/2606.23687v1
• Date: Mon, 22 Jun 2026 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 17:07:50.013031
• Title: Randomized YaRN Improves Length Generalization for Long-Context Reasoning
• Title（参考訳）: ランダム化されたYaRNは、ロングコンテキスト推論のための長さ一般化を改善する
• Authors: Manas Mehta, Fangcong Yin, Greg Durrett,
• Abstract要約: 本稿では,Yarnに基づく位置補間とランダムな位置符号化と長さカリキュラムを組み合わせることにより,長さ一般化を改善する訓練手法を提案する。 BABILong と Multi-Round Coreference Resolution (MRCR) の2つの挑戦的長文推論ベンチマーク上でランダム化された YaRN を評価する。 8Kコンテキストでデータトレーニングを行う場合、Randomized YaRNは、コンテキスト長の推論性能を16Kから128Kに改善し、標準の微調整よりも優れています。
• 参考スコア（独自算出の注目度）: 38.265787556913175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are typically pretrained on short sequences and then extended to work on longer sequences with additional training. However, such LLMs still struggle to further generalize to very long sequences. We propose Randomized YaRN, a training method that improves length generalization by combining YaRN-based positional extrapolation with randomized positional encoding and a length curriculum. During training on short context data, tokens are assigned YaRN positional encodings sampled from a larger position range, exposing the model to out-of-distribution positional representations even on short-context inputs. We evaluate Randomized YaRN on two challenging long-context reasoning benchmarks, BABILong and Multi-Round Coreference Resolution (MRCR). When training on data with <8K context, Randomized YaRN consistently improves reasoning performance on context lengths from 16K to 128K and outperforms standard fine-tuning, with the largest gains appearing at far out-of-distribution lengths. Our results suggest that progressively exposing models to OOD positional distributions provides an effective recipe for generalizable long-context reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は通常、短いシーケンスで事前訓練され、追加のトレーニングで長いシーケンスで動作するように拡張される。 しかし、そのようなLSMは、非常に長いシーケンスへのさらなる一般化に苦慮している。 本稿では,Yarnに基づく位置補間とランダムな位置符号化と長さカリキュラムを組み合わせることで,長さ一般化を改善する訓練手法であるRandomized YaRNを提案する。 短コンテキストデータのトレーニング中、トークンは、より大きな位置範囲からサンプリングされたYarn位置エンコーディングを割り当て、短コンテキスト入力であっても、そのモデルを配布外位置表現に露出させる。 提案手法は,BABILong と Multi-Round Coreference Resolution (MRCR) の2つの長文推論ベンチマークを用いてランダム化YarRNを評価した。 8Kのコンテキストでデータに関するトレーニングを行う場合、Randomized YaRNは、コンテキスト長の推論性能を16Kから128Kに改善し、標準の微調整よりも向上する。 以上の結果から,OODの位置分布に段階的にモデルを露出させることが,長文推論の一般化に有効な方法であることが示唆された。

関連論文リスト

• EndPrompt: Efficient Long-Context Extension via Terminal Anchoring [62.81677226065374]
  本稿では,短いトレーニングシーケンスのみを用いて,効果的なコンテキスト拡張を実現する手法であるEndPromptを提案する。 我々は、元の短いコンテキストを無傷の第1セグメントとして保存し、短い端末プロンプトを第2セグメントとして追加し、ターゲットコンテキスト長の近傍に位置指標を割り当てる。 エンドプロンプトの平均RULERスコアは76.03で、LongBenchでは最高であり、LCEG(72.24)、LongLoRA(72.95)、フル長のファインチューニングを上回っている。
  論文  参考訳（メタデータ） (2026-05-14T09:00:03Z)
• Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
  大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-04-15T18:46:35Z)
• Position Encoding with Random Float Sampling Enhances Length Generalization of Transformers [27.92897019476987]
  我々は,事前学習や微調整で見えない長さによく一般化する,強力な位置符号化(PE)戦略であるランダムフロートサンプリング(RFS)を導入する。 RFSはランダムにサンプリングされた連続的な値を使用するため、トレーニング中にモデルをさまざまな指標に公開することにより、目に見えない長さでのアウト・オブ・ディストリビューション(OOD)の問題を回避することができる。 実験は、RFSがゼロショットコモンセンス推論ベンチマークと同様に長さ一般化タスクにおいて優れたパフォーマンスをもたらすことを示すことによって、その効果を裏付ける。
  論文  参考訳（メタデータ） (2026-02-15T08:32:22Z)
• Short-Context Dominance: How Much Local Context Natural Language Actually Needs? [48.429870236229696]
  正確な全文予測を再現するのに必要となる最小コンテキスト長を計測する。 長文文書から1-7kのトークンを持つシーケンスの場合、75-80%は最下位96トークンしか必要としない。 そこで本研究では,実際の次点知識を必要としないMCL(Distributedally Aware MCL)の実践的プロキシについて紹介する。
  論文  参考訳（メタデータ） (2025-12-08T22:25:00Z)
• Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization [56.97588709890706]
  LongMab-POは、長文モデリングタスクのための高品質で多様な応答を生成する新しいフレームワークである。 実験の結果,LongMab-POは嗜好データペアの多様性と品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-19T16:33:55Z)
• Understanding and Improving Length Generalization in Recurrent Models [21.417068818034817]
  リカレントモデルは任意に長いシーケンスを処理できますが、そのパフォーマンスはトレーニングコンテキストの長さを超える場合があります。 トレーニング中のモデルが,到達可能な状態の分布の限られた部分集合にのみ露出した場合に,モデルが一般化されないことを示す。 モデルが訓練されている状態のカバレッジを高めるための簡単な訓練介入について検討する。
  論文  参考訳（メタデータ） (2025-07-03T16:45:50Z)
• Position as Probability: Self-Supervised Transformers that Think Past Their Training for Length Extrapolation [0.0]
  PRISMは、トランスフォーマーがトレーニング長の10倍まで正確に外挿できる新しい位置符号化機構である。 解析により、PRISMの位置エンコーディングは鋭く解釈可能な内部状態を維持しており、信頼性のある長さ一般化の理論的基礎となっていることが示された。
  論文  参考訳（メタデータ） (2025-06-01T09:20:44Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。