論文の概要: Short-Context Dominance: How Much Local Context Natural Language Actually Needs?

• arxiv url: http://arxiv.org/abs/2512.08082v1
• Date: Mon, 08 Dec 2025 22:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:07.743353
• Title: Short-Context Dominance: How Much Local Context Natural Language Actually Needs?
• Title（参考訳）: 短所支配: ローカルなコンテキスト自然言語は実際どのくらい必要か?
• Authors: Vala Vakilian, Zimeng Wang, Ankit Singh Rawat, Christos Thrampoulidis,
• Abstract要約: 正確な全文予測を再現するのに必要となる最小コンテキスト長を計測する。 長文文書から1-7kのトークンを持つシーケンスの場合、75-80%は最下位96トークンしか必要としない。 そこで本研究では,実際の次点知識を必要としないMCL(Distributedally Aware MCL)の実践的プロキシについて紹介する。
• 参考スコア（独自算出の注目度）: 48.429870236229696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the short-context dominance hypothesis: that for most sequences, a small local prefix suffices to predict their next tokens. Using large language models as statistical oracles, we measure the minimum context length (MCL) needed to reproduce accurate full-context predictions across datasets with sequences of varying lengths. For sequences with 1-7k tokens from long-context documents, we consistently find that 75-80% require only the last 96 tokens at most. Given the dominance of short-context tokens, we then ask whether it is possible to detect challenging long-context sequences for which a short local prefix does not suffice for prediction. We introduce a practical proxy to MCL, called Distributionally Aware MCL (DaMCL), that does not require knowledge of the actual next-token and is compatible with sampling strategies beyond greedy decoding. Our experiments validate that simple thresholding of the metric defining DaMCL achieves high performance in detecting long vs. short context sequences. Finally, to counter the bias that short-context dominance induces in LLM output distributions, we develop an intuitive decoding algorithm that leverages our detector to identify and boost tokens that are long-range-relevant. Across Q&A tasks and model architectures, we confirm that mitigating the bias improves performance.
• Abstract（参考訳）: 短文支配仮説を考察し、ほとんどのシーケンスにおいて、小さな局所接頭辞が次のトークンを予測するのに十分であることを示す。 大規模言語モデルを統計的オラクルとして用い, 異なる長さの列を持つデータセット間で正確な全コンテキスト予測を再現するために必要な最小コンテキスト長(MCL)を測定する。 長文文書から1-7kのトークンを持つシーケンスの場合、75-80%は最下位96トークンしか必要としない。 短文トークンの優位性を考えると、短い局所接頭辞が予測に十分でない長文列を検出できるかどうかを問う。 本研究では,MCLに現実的なプロキシを導入し,実際の次点の知識を必要とせず,強欲な復号化以上のサンプリング戦略と互換性のある分散認識型MCL(DaMCL)を提案する。 提案実験では,DAMCLの簡易しきい値設定により,長文と短文の文脈列の検出精度が向上することを確認した。 最後に,LLM出力分布において短コンテキスト支配が引き起こすバイアスに対処するため,長距離関連トークンの識別・促進に我々の検出器を利用する直感的復号アルゴリズムを開発した。 Q&Aタスクとモデルアーキテクチャ全体で、バイアスを軽減することでパフォーマンスが向上することを確認した。

関連論文リスト

• The Limits of Long-Context Reasoning in Automated Bug Fixing [4.853967615615349]
  大規模言語モデル(LLM)は、コンテキスト全体を直接推論することができる。 LLMの最近の進歩は、ソフトウェア工学のベンチマークで強力なパフォーマンスを実現している。 我々は,現在のLLMが長文コードとパッチ生成を確実に実行可能であるかどうかを体系的に評価する。
  論文  参考訳（メタデータ） (2026-02-17T22:51:40Z)
• Beyond the Needle's Illusion: Decoupled Evaluation of Evidence Access and Use under Semantic Interference at 326M-Token Scale [18.13756357502514]
  我々は,326Mのメモリバンク上に構築された逆IAHスタイルのベンチマークであるEverMemBench-S(EMB-S)を紹介する。 完全なMemoryBankは、検索ベース(RAG)評価のために326万のトークンにまたがるが、各モデルのコンテキストウィンドウに適合するスケールでのみ、ネイティブの長期コンテキストモデルを評価する。
  論文  参考訳（メタデータ） (2026-01-28T05:44:00Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• XL3M: A Training-free Framework for LLM Length Extension Based on Segment-wise Inference [25.669630896777484]
  本稿では,XL3Mと命名された効率的な学習自由フレームワークを提案する。これにより,短時間で訓練されたLLMが,それ以上のトレーニングや微調整を行なわずに極めて長いシーケンスを推論できる。 総合的なベンチマークによる評価は、XL3Mの優位性を示している。
  論文  参考訳（メタデータ） (2024-05-28T02:12:35Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• KNN-LM Does Not Improve Open-ended Text Generation [34.86733697757264]
  検索強化言語モデル(LM)の生成品質について検討する。 検索分布の補間は, ベースライントランスフォーマーLMと比較して, 実際にパープレキシティを増大させることがわかった。 検索分布のエントロピーは、生成シーケンスが長くなるにつれて、ベースLMのエントロピーよりも速く増加する。
  論文  参考訳（メタデータ） (2023-05-24T01:48:33Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。