論文の概要: Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval

• arxiv url: http://arxiv.org/abs/2611.04169v1
• Date: Tue, 03 Nov 2026 02:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 01:28:07.356588
• Title: Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval
• Title（参考訳）: 長寿は安上がり、競争はそうではない: 注意: 検索におけるコンテキストロート
• Abstract要約: 検索の場合、長さは安く、競合はあり得ない。 検索では、コンテキストロートが注目の競争であることを示す。
• 参考スコア（独自算出の注目度）: 1.8750885569010352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why do language models fail on long inputs? The common answer is length. We show that, for retrieval, length is cheap and competition is not. On five open models (0.5B to 3B parameters, four families), neutral filler costs nothing: accuracy stays at 0.97 to 1.00, up to 32K tokens on Qwen2.5-1.5B. Statements in the format of the evidence, placed at the same positions, drop it to 0.16 to 0.33. A single statement that gives the queried key a rival value multiplies the loss by 9 to 110, and every additional rival adds to it. Inside the model, one quantity tracks the failure: the attention mass left on the evidence. Across 126,473 trials it explains up to 58% of the variance in loss; log length explains at most 8%. The masked-filler protocol behind the claim that length alone hurts reproduces on MMLU (11 to 18 points lost at 30K tokens), but fails a visible control in retrieval: masking costs 45 accuracy points at 32K tokens, while the same filler left visible costs none. In retrieval, context rot is a competition for attention. We release the probe and all 126K trial-level measurements.
• Abstract（参考訳）: なぜ言語モデルは長い入力で失敗するのか? 一般的な答えは長さである。 検索の場合、長さは安く、競合はあり得ない。 5つのオープンモデル(0.5Bから3Bのパラメータ、4つのファミリー)では、中立なフィラーは何の費用もかからない:精度は0.97から1.00であり、Qwen2.5-1.5Bでは32Kトークンである。 証拠の形式は同一の位置に置かれ、0.16から0.33に下げられた。 クエリされたキーに競合する値を与える1つのステートメントは、損失を9から110に乗じ、追加のライバルが追加する。 モデルの内部では、1つの量によって失敗が追跡される。 126,473回の試験で、損失の最大58%が説明され、ログの長さは8%である。 MMLU(30Kトークンで失った11から18ポイント)では、長さだけでは再生できないという主張の背後にあるマスク付きフィラープロトコルは、検索において可視的な制御に失敗する。 検索において、文脈回転は注目の競争である。 我々は、プローブと126Kの試行レベルの測定結果を公表した。

関連論文リスト

• Concise-9B: Removing the Slack from a Reasoning Model's Thinking [51.56484100374058]
  推論モデルは、より長く考えるとより良く答えるが、その答が作られた後も、思考の痕跡はうまく行き続ける。 このスラックをQwen3.5-9Bで測定し,その大部分を簡潔な自己学習で除去する。 ハードと確認セットの各トレースに2,048個の思考トークンに答えるように強制すると、Qwen3.5-9Bの思考トークンの54-64%は、全ての強制回答が最終トークンに等しい点から来る。
  論文  参考訳（メタデータ） (2026-11-01T23:02:43Z)
• Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation [0.0]
  我々はPOPEベンチマークで幻覚軽減効果を再現する。 LLaVA-1.5-7Bのベースラインは1.21から8.67ポイントであり、比較する予定の敵のベースラインより上であった。
  論文  参考訳（メタデータ） (2026-10-19T07:58:14Z)
• Same Space or Not: Benchmarking Spatial Intelligence Through Cross-View Contradictions [80.65137714222533]
  スペース・アンド・ノット(Space or Not)は、クロスビューの矛盾解決のベンチマークである。 人間は83.3%の精度を達成しており、最強の視覚言語モデルでは39.7%である。
  論文  参考訳（メタデータ） (2026-10-09T17:54:57Z)
• Composition, Not Conversation: VLMs Lose the Scene, Not the Thread [52.53349894973919]
  視覚言語モデル(VLM)は、収穫、分割、回収、あるいは時間とともに明らかにされる視覚的証拠に対して、ますます理にかなっている。 93のシーンと300の質問があるLayered-VQAを紹介します。 各画像は順序付けされたRGBA層に分解され、元のシーンを正確に再構成する。
  論文  参考訳（メタデータ） (2026-09-29T18:29:43Z)
• Brevity is the Soul of Inference Efficiency: Inducing Concision in VLMs via Data Curation [6.388637009168626]
  推論効率は通常、モデルを縮小することによって追求される。 しかし、出力長は膨らみ続けており、標準ツールキットが未修正のまま残しているのはまさにそのコンポーネントです。 ここでは、簡潔さは推論効率の欠けているレバーであり、事前学習したデータキュレーションは、それを引っ張る実践的な方法である、と論じる。
  論文  参考訳（メタデータ） (2026-06-24T05:50:28Z)
• NoLiMa: Long-Context Evaluation Beyond Literal Matching [100.00398424275501]
  NoLiMaは、NIAHテストを拡張したベンチマークである。 干し草の山の中に針を見つけるためには、潜伏関係を推測するモデルが必要である。 我々は、少なくとも128Kトークンのコンテキストをサポートすると主張する13の人気のある大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-02-07T18:49:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。