論文の概要: Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension

• arxiv url: http://arxiv.org/abs/2610.24469v1
• Date: Sat, 17 Oct 2026 05:29:37 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:52:16.496104
• Title: Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension
• Title（参考訳）: どの長い文書が重要か : 文脈拡張のためのデータ選択の制御に関する研究
• Abstract要約: truncLongPPLを導入し、truncatedプレフィックス上でキートケン密度を計算することで、スコアリングコストを削減する。 3つの訓練種のうち, truncLongPPLは評価されたパイプラインの平均スコアが最も高い。 Qwen2.5-3B、Qwen3-8B、OLMo3-7Bの短距離混合訓練では、ランダム長混合よりも平均1.47--7.31のRULERポイントを得る。
• 参考スコア（独自算出の注目度）: 7.372271969230501
• License:
• Abstract: Natural long documents are widely used for context extension, but which selection pipelines are effective remains unclear. We conduct a controlled comparison on Qwen2.5-3B at 128K under matched 6B-token continued-training budgets. Random sampling of natural long documents (random-long) outperforms repacking at longer evaluation lengths. Within the same candidate pool, selecting documents with high LongPPL key-token density yields further gains, unlike the evaluated generic-quality and LLM-judge selectors. We introduce truncLongPPL to reduce scoring cost by computing key-token density over a truncated prefix. At 128K, scoring the first half of the reference span yields downstream performance close to full-span scoring with a measured $2.28\times$ end-to-end scoring speedup. Across three training seeds, truncLongPPL achieves the highest mean scores among evaluated pipelines, exceeding random-long by 4.54 points on validation HELMET and 3.28 on held-out RULER, with gains most consistent in retrieval. At a 256K target context, it gains 2.82 average RULER points over random-long on Qwen2.5-3B. In short/long mixed training across Qwen2.5-3B, Qwen3-8B, and OLMo~3-7B, it gains 1.47--7.31 average RULER points over random-long mixing, with seven-task short-context averages within 0.23 points of the corresponding baselines. After supervised fine-tuning (SFT), Qwen3-8B and OLMo~3-7B models trained with selected long documents outperform their random-long counterparts by 1.13--1.67 points on LongBench v2 and 0.62--1.44 points on MRCR.
• Abstract（参考訳）: 自然長文は文脈拡張に広く使われているが、どの選択パイプラインが有効かは定かではない。 128KにおけるQwen2.5-3Bの制御比較を行った。 自然長文書(ランダム長)のランダムサンプリングは、より長い評価長で再パッケージングに優れる。 同じ候補プール内では、評価された汎用品質やLLM-judgeセレクタとは異なり、高いLongPPLキートケン密度を持つドキュメントを選択すると、さらに利益が得られる。 truncLongPPLを導入し、truncatedプレフィックス上でキートケン密度を計算することで、スコアリングコストを削減する。 128Kでは、参照スパンの前半のスコアは、フルスパンに近いダウンストリームのパフォーマンスとなり、測定値が2.28\times$ end-to-endスコアアップとなる。 3つのトレーニング種の中で、truncLongPPLは評価されたパイプラインの中で最高平均スコアを達成し、HELMETでランダムに4.54ポイント、RULERで3.28ポイント、検索で最も安定している。 256Kのターゲットコンテキストでは、Qwen2.5-3Bでランダム長よりも平均2.82RULERポイントを得る。 Qwen2.5-3B、Qwen3-8B、OLMo~3-7Bの短距離混合訓練では、ランダム・ロング・ミキシングで平均1.47--7.31のRULERポイントを獲得し、対応するベースラインの0.23ポイント以内で7タスクの短コンテキスト平均を得る。 教師付き微調整 (SFT) の後、Qwen3-8B と OLMo~3-7B は選択した長い文書で訓練され、LongBench v2 の 1.13--1.67 点、MRCR の 0.62--1.44 点において、ランダムに長い文書で訓練された。

関連論文リスト

• Beyond the Context Window: An Adaptive Entropy-Based Routing Framework for Hybrid Retrieval and Long-Context Language Models [0.0]
  本稿では,検索したチャンクからの問合せに応答するか,あるいは完全長文処理にエスカレーションするかを推測時間で決定するフレームワークを提案する。 Entropy-Driven Adaptive Router (EDAR) は、検索したチャンクからクエリに応答するか、あるいはそれを完全なロングコンテキスト処理にエスカレーションするかを推論時に決定する。
  論文  参考訳（メタデータ） (2026-09-23T16:09:36Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• Where Does Long-Context Supervision Actually Go? Effective-Context Exposure Balancing [6.488481641971471]
  長いコンテキスト適応はしばしばウィンドウスケーリングと見なされるが、トークンレベルの監視ミスマッチを見逃す。 我々は、長期有効コンテキスト目標に余分な重みを割り当てる監視割当目的であるEXACTを紹介する。 長いコンテキスト適応は、いかに強いトレーニングが長いコンテキスト予測を監督するかに依存します。
  論文  参考訳（メタデータ） (2026-05-11T13:23:21Z)
• Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
  大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-04-15T18:46:35Z)
• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 コードリポジトリと書籍は長いデータの優れた情報源であることがわかったが、それらと高品質の短文データを組み合わせることが不可欠である。 最終モデルであるProLong-8Bは、128Kの同様のサイズのモデル間で、最先端の長文性能を示す。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。