論文の概要: Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs

• arxiv url: http://arxiv.org/abs/2606.06203v1
• Date: Thu, 04 Jun 2026 14:08:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.846195
• Title: Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs
• Title（参考訳）: センスコンテキストはハードコンテキスト:LLMにおける有効コンテキストの語彙密度制限
• Authors: Giovanni Dettori, Matteo Boffa, Danilo Giordano, Idilio Drago, Marco Mellia,
• Abstract要約: 語彙密度とは、文脈が異なる情報を導入する速度である。 オープンウェイトLDMに対するレキシカル密度の影響を定量化する。 その結果,有効コンテキストキャパシティは語彙密度の関数であることがわかった。
• 参考スコア（独自算出の注目度）: 0.8873265946210988
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Input length and the position of relevant information are widely cited as the primary causes of degraded LLM long-context performance. Here, we study lexical density -- the rate at which a context introduces distinct information -- as a third, largely overlooked factor that systematically reduces the effective context window of LLMs. We quantify the impact of lexical density on open-weight LLMs (9B-685B) using three "find-the-needle" style benchmarks with identical length (~12k tokens) and controlled needle position, but increasing density of information. We observe a sharp performance collapse in higher-density benchmarks: models that are near-perfect in sparse contexts drop below 60% retrieval score on denser ones. To rule out task-type confounds, we vary and control the density within each benchmark while keeping all other properties unchanged. Reducing density generally restores performance, especially in the high-density regimes where degradation appears. These results show that effective context capacity is a function of lexical density, with direct implications for real-world LLM systems operating on compact, information-rich inputs.
• Abstract（参考訳）: 入力長と関連する情報の位置は、LLM長文の劣化の主な原因として広く引用されている。 本稿では、LLMの効果的なコンテキストウィンドウを体系的に減少させる第3の要因として、文脈が異なる情報を導入する速度である語彙密度について検討する。 我々は,LLM (9B-685B) に対するレキシカル密度の影響を,同じ長さ(〜12kトークン)と制御針位置の3つの"フィンド・ザ・ニードル"スタイルのベンチマークを用いて定量化するが,情報密度は増大する。 より密度の高いベンチマークでは、スパース文脈でほぼ完全であるモデルは、より密度の高いベンチマークで60%以下に低下する。 タスクタイプのコンファウンドを除外するために、他のプロパティをすべて変更することなく、ベンチマーク内の密度を変更および制御する。 密度の低下は一般に、特に劣化が現れる高密度のレギュレーションにおいて、性能を回復させる。 これらの結果から,実世界のLLMシステムにおいて,高効率なコンテキストキャパシティが語彙密度の関数であることを示唆した。

関連論文リスト

• Sparse or Dense? A Mechanistic Estimation of Computation Density in Transformer-based LLMs [7.375393542449447]
  変換器をベースとした大規模言語モデル(LLM)は、深層および広範囲の計算グラフに配置された数十億のパラメータで構成されている。 本稿では,LLMの計算密度を体系的に定量化する手法を紹介する。
  論文  参考訳（メタデータ） (2026-01-30T10:18:29Z)
• SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs [13.231762612368376]
  本稿では, 蒸留言語モデル(DLM)とLLMの類似性を情報理論の観点から分析する。 長文推論のためのアルゴリズムとシステムの共同設計であるSpeContextを提案する。
  論文  参考訳（メタデータ） (2025-11-30T04:32:43Z)
• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• "I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts? [10.454446545249096]
  本稿では,2進(人間対LLM生成)と3進分類(未決定クラスを含む)の2つの設定において,現在のLLMの検出と説明能力について検討する。 異なる大きさの6つのオープンソースLCMを評価し、自己検出(LLM)が相互検出(他のLCMからの出力の同定)を一貫して上回っていることを発見した。 本研究は, 自己検出・自己説明における現在のLCMの限界を浮き彫りにして, 過度に適合し, 一般化性を高めるためのさらなる研究の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-02-18T11:00:28Z)
• Densing Law of LLMs [81.06644243978101]
  大規模言語モデル(LLM)は人工知能のマイルストーンとして登場し、モデルのサイズが大きくなるにつれてその性能が向上する。 本稿では,異なるスケールでLLMの品質を評価するための新しい指標として,「テクトキャパシティ密度」の概念を紹介する。
  論文  参考訳（メタデータ） (2024-12-05T16:31:13Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。