論文の概要: Beyond Context Length: Characterising the Difficulty of Long-Context Reasoning

• arxiv url: http://arxiv.org/abs/2610.22067v1
• Date: Thu, 15 Oct 2026 15:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.160051
• Title: Beyond Context Length: Characterising the Difficulty of Long-Context Reasoning
• Title（参考訳）: コンテキスト長を超えて:ロングコンテキスト推論の難しさを特徴づける
• Abstract要約: 長期コンテキスト言語モデルは、複雑な情報に対する推論を必要とする長期コンテキストタスクでは失敗する。 我々は,この難しさを,証拠範囲,必要な情報の発見範囲,証拠分散,その情報がコンテキスト内にどの程度分散しているかという3つの特性を通じて定量的に特徴づける。 評価の結果,3つの特性はすべてモデルの性能と負の相関関係にあることがわかった。 文脈長が大きくなるにつれて、分散した証拠を持つサンプルでは性能が著しく低下するが、局所的な証拠を持つサンプルでは比較的安定である。
• 参考スコア（独自算出の注目度）: 59.92629069852712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context language models support ever longer context windows, and evaluations typically treat context length as the main indicator of difficulty. However, context length alone cannot explain why models fail on long-context tasks that require reasoning over complex information. Contexts of equal length can pose very different challenges: a task may be solvable from a single local passage, or it may require integrating evidence distributed across the full context. We quantitatively characterise this difficulty through three properties: evidence scope, how much necessary information must be found; evidence dispersion, how widely that information is scattered within the context; and reasoning depth, how many dependent steps are needed to derive an answer from it. We construct LURCH, a multi-domain question-answering benchmark of 6,550 instances with supporting evidence and reasoning graphs, enabling all three properties to be quantified. Evaluations of proprietary and open-weight models show that: (1) at fixed context length, all our three properties are strongly negatively correlated with model performance; (2) as context length increases, performance degrades sharply on samples with dispersed evidence, whereas it remains relatively stable on samples with localised evidence; and (3) difficulty compounds across properties, as questions with moderately high values on all three are harder than those with an extreme value on just one. These findings establish evidence scope, dispersion and reasoning depth as measures of long-context reasoning difficulty that complement context length.
• Abstract（参考訳）: 長いコンテキスト言語モデルは、より長いコンテキストウィンドウをサポートし、評価は通常、コンテキスト長を難易度の主要な指標として扱う。 しかし、コンテキスト長だけでは、複雑な情報に対する推論を必要とする長いコンテキストタスクでモデルが失敗する理由を説明できない。 タスクは単一のローカルパスから解決できるかもしれないし、完全なコンテキストに分散するエビデンスを統合する必要があるかもしれない。 我々は、この難しさを、証拠範囲、必要な情報がどの程度見つかるか、証拠分散、その情報が文脈内にどの程度分散しているか、そして、それから答えを得るために依存ステップがいくつ必要か、という3つの特性によって定量的に特徴づける。 LURCHは6,550インスタンスの多領域質問応答ベンチマークであり、証拠と推論グラフをサポートし、3つの特性の定量化を可能にする。 プロプライエタリモデルとオープンウェイトモデルの評価は,(1) 一定の文脈長において,我々の3つの特性がモデル性能と強く負の相関関係にあること,(2) 文脈長が大きくなるにつれて,分散した証拠を持つサンプルに対して性能が急激に低下すること,(3) 局所的な証拠を持つサンプルに対して比較的安定であること,(3) それらの3つについて適度に高い値を持つ質問が1つの極端な値を持つものよりも難しいこと,などが示される。 これらの知見は、文脈長を補完する長文推論困難度の測定方法として、証拠範囲、分散および推論深度を確立した。

関連論文リスト

• Context-Length Robustness in Question Answering Models: A Comparative Empirical Study [0.0]
  本稿では,SQuADとHotpotQAの2つのベンチマークを用いて,大規模言語モデルにおける文脈長頑健性の実証的研究を行った。 モデル精度を全文脈長の関数として評価し,応答を含む信号を保持しながら,無関係な文脈の量を体系的に増加させることで評価する。 その結果、コンテキスト長が増加するにつれて性能が一貫した低下を示し、マルチホップ推論タスクではシングルスパン抽出タスクよりもはるかに大きな低下が観測された。
  論文  参考訳（メタデータ） (2026-03-16T17:14:05Z)
• Oolong: Evaluating Long Context Reasoning and Aggregation Capabilities [48.54193244645589]
  Oolongは、原子レベルで個々のテキストの塊を分析する必要がある長期コンテキスト推論タスクのベンチマークである。 Oolongでは、GPT-5、Claude-Sonnet-4、Gemini-2.5-Proといったフロンティアモデルでも、どちらも128Kで50%未満の精度を実現している。
  論文  参考訳（メタデータ） (2025-11-04T18:42:12Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• GATEAU: Selecting Influential Samples for Long Context Alignment [59.579128690086385]
  GATEAUは、長距離依存関係に富む影響力のあるサンプルを同定する。 選択されたサンプルに基づいて訓練されたモデルは、より良い指示追従と長文理解能力を示す。
  論文  参考訳（メタデータ） (2024-10-21T04:30:53Z)
• NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
  NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。 モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。 実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-07-16T17:59:06Z)
• Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP [32.19010113355365]
  異なるタスクをコンテキスト長で膨らませることは、生産的ではないと我々は主張する。 我々は、長い文脈でそれらがより困難になる特性に基づいて、長い文脈の分類を解き放つことを提案する。 必要な情報が非常に長く、入力内で非常に拡散している、最も困難で興味深い設定は、非常に過度に探索されている、と結論付けている。
  論文  参考訳（メタデータ） (2024-06-29T11:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。