論文の概要: Inference Time Context Sparsity: Illusion or Opportunity?

• arxiv url: http://arxiv.org/abs/2605.24168v1
• Date: Fri, 22 May 2026 19:38:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.659286
• Title: Inference Time Context Sparsity: Illusion or Opportunity?
• Title（参考訳）: 時間的コンテキストのばらつき - イラシオンかオポチュニティか?
• Authors: Sahil Joshi, Prithvi Dixit, Agniva Chowdhury, Anshumali Shrivastava, Joseph E. Gonzalez, Ion Stoica, Kumar Krishna Agrawal, Aditya Desai,
• Abstract要約: 空間性はLLM効率において長い間中心的なテーマであったが、文脈処理におけるその役割は未解決のままである。 現在のLLMは、複雑さの異なるタスク間での推論時デコードに非常に堅牢である。 現在のハードウェアは、この空間からかなりの利益を得るのに十分である。
• 参考スコア（独自算出の注目度）: 68.19166054156183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparsity has long been a central theme in LLM efficiency, but its role in context processing remains unresolved. As LLM workloads shift toward longer contexts and agentic interactions, the compute and memory bottlenecks of attention become increasingly critical, raising the question of whether these constraints are fundamental. Our position is that these constraints are artificial and unnecessary, and that the future of LLM inference lies in extreme but principled sparsity along the context dimension. This position is supported by several strands of empirical and theoretical evidence. First, we find the insistence on dense attention unreasonable, since in a long context a query effectively projects O(N) attention information into a hidden space of dimension d << N, making the process inherently lossy. Second, we perform an extensive study of sparsity in LLMs spanning 20 models across five model families, varying context lengths, and different sparsity levels. We empirically demonstrate a strong trend: current LLMs, despite not being trained for context sparsity, are remarkably robust to inference-time decode sparsity across tasks of varying complexity, including retrieval, multi-hop QA, mathematical reasoning, and agentic coding. Importantly, we also show that current hardware is already sufficient to realize substantial gains from this sparsity. For example, our sparse decode kernels accelerate large-context processing by up to 10x over FlashInfer at 50x sparsity levels on hardware such as the H100. Overall, these results position extreme context sparsity not as a heuristic, but as a principled foundation for LLM inference, training, and architecture design: one that is both feasible and beneficial, and a compelling direction for future systems.
• Abstract（参考訳）: 空間性はLLM効率において長い間中心的なテーマであったが、文脈処理におけるその役割は未解決のままである。 LLMワークロードがより長いコンテキストやエージェント間相互作用へと移行するにつれて、注意の計算とメモリボトルネックがますます重要になり、これらの制約が基本的なものであるかどうかという疑問が提起される。 我々の立場では、これらの制約は人工的かつ不要であり、LLM推論の未来は、文脈次元に沿った極端に原則化された空間にある。 この位置は、いくつかの経験的および理論的証拠によって支えられている。 長いコンテキストにおいて、クエリはO(N) の注意情報を次元 d<<N の隠れた空間に効果的に投影し、その過程を本質的に損なう。 第2に、5つのモデルファミリーにまたがる20モデル、異なるコンテキスト長、異なるスパーシリティレベルにまたがるLLMにおけるスパーシリティの広範な研究を行う。 現状のLLMは、文脈の間隔を訓練していないにもかかわらず、検索、マルチホップQA、数学的推論、エージェントコーディングなど、様々な複雑さのタスクにおいて、推論時デコードに非常に堅牢である。 重要なことに、現在のハードウェアは、この空き地からかなりの利益を得るのに十分であることも示している。 例えば、スパースデコードカーネルは、H100のようなハードウェア上の50倍の間隔で、FlashInferの最大10倍の大規模なコンテキスト処理を高速化します。 全体として、これらの結果は、極端にコンテキスト空間をヒューリスティックではなく、LLM推論、トレーニング、アーキテクチャ設計の原則として位置づけている。

関連論文リスト

• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs [39.99645732873852]
  予測時間の戦略は、リターンが急速に減少し、長いコンテキストで失敗することを示している。 静的自己認識の限界を克服する簡単な方法を提案する。 本手法は,LongBench-v2 および ZeroScrolls ベンチマークのサブセットの平均値において,Qwen3-4B に対する 12.6 および 14.1 パーセントの大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2025-12-15T21:01:37Z)
• Beyond RAG vs. Long-Context: Learning Distraction-Aware Retrieval for Efficient Knowledge Grounding [5.353135097018941]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) を外部の最新の情報に基盤付けるためのフレームワークである。 本稿では,適応型検索システムLDAR(Learning Distraction-Aware Retrieval)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T04:40:42Z)
• LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs [63.580867975515474]
  拡散LDMと従来の自己回帰LDMの長文性能を比較検討する。 LLaDAとNTKベースのRoPE外挿法を統合したLongLLaDAを提案する。
  論文  参考訳（メタデータ） (2025-06-17T11:45:37Z)
• Beyond the Speculative Game: A Survey of Speculative Execution in Large Language Models [9.121458241884444]
  投機的実行は、textitdraft-then-verifyスタイルでLLMデコードに導入される。 コストのかかる推論を並列化することにより、復号速度を大幅に向上させることができる。 LLMにおける投機的実行の文献をレビューし、統一する最初の調査論文を提示する。
  論文  参考訳（メタデータ） (2024-04-23T10:25:45Z)
• Not All Layers of LLMs Are Necessary During Inference [68.88671495401483]
  いくつかのタスクにおいて、Large Language Modelsはいくつかの中間層での最終的な出力に匹敵する結果が得られることを示す。 本稿では,入力インスタンスの推論処理を適応的に終了するアルゴリズムAdaInferを提案する。
  論文  参考訳（メタデータ） (2024-03-04T16:23:58Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。