論文の概要: Context Poisoning as Extreme-Value Attention Interference in Long-Context Language Models

• arxiv url: http://arxiv.org/abs/2609.22101v1
• Date: Wed, 12 Aug 2026 14:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.708586
• Title: Context Poisoning as Extreme-Value Attention Interference in Long-Context Language Models
• Title（参考訳）: 長期言語モデルにおける極値注意干渉としての文脈ポジショニング
• Abstract要約: 我々は、この現象を文脈中毒(context poisoning)と呼び、注意の極端に価値の高い干渉として定式化する。 ベースレート以上の固定精度の目標を維持するためには、エビデンスマージンを$(sqrtlog N)$にスケールする必要がある。 制御実験により, 埋込硬質負の存在下で全体の文脈が大きくなるにつれて, 検索精度が低下することが示された。
• 参考スコア（独自算出の注目度）: 0.7068165275780811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can process increasingly long prompts, yet their ability to locate and use decisive evidence may degrade as irrelevant or confusable context is added. We formulate this phenomenon, which we call context poisoning, as extreme-value interference in attention: the decisive-evidence score is upper-bounded, while the maximum score among effective distractors grows with their number. Under a softmax retrieval abstraction, we derive a finite-sample upper bound showing that maintaining a fixed accuracy target above base rate requires the evidence margin to scale as $Ω(\sqrt{\log N})$, where N denotes the effective distractor count rather than necessarily the raw context length. The analysis connects long-context degradation to score aliasing, positional aliasing, and softmax dilution. Controlled experiments show that retrieval accuracy decreases as total context grows in the presence of embedded hard negatives, that the same-format condition produces the largest observed accuracy drop among the tested distractor constructions at fixed context length, and that retrieval gating can improve evidence use while its net benefit depends on preserving evidence recall. These results motivate evidence bottlenecks, alias-resistant representations, retrieve-then-reason architectures, verifier-mediated memory, and contrastive anti-poison training.
• Abstract（参考訳）: 大規模言語モデルは、ますます長いプロンプトを処理することができるが、決定的な証拠の発見と使用能力は、無関係または不確実な文脈が加えられるにつれて低下する可能性がある。 我々は、この現象を、文脈中毒(context poisoning)と呼び、注意の極端に価値の高い干渉として定式化し、決定的証拠スコアは上界であり、効果的な注意散らし者の最大スコアは、その数とともに増大する。 ソフトマックス検索の抽象化の下では、ベースレート以上の固定精度ターゲットを維持するためには証拠マージンを$Ω(\sqrt{\log N})$にスケールする必要があることを示す有限サンプル上界を導出する。 この分析は、長文劣化とスコアエイリアス、位置エイリアス、ソフトマックス希釈を結びつけている。 制御された実験により, 埋込み硬い負の存在下で全体のコンテキストが増加するにつれて, 検索精度が低下することがわかった。 これらの結果は、エビデンスボトルネック、エイリアス耐性表現、検索・then-reasonアーキテクチャ、検証者によるメモリ、および対照的な反ポゾン訓練を動機付けている。

関連論文リスト

• Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents [16.82888862043366]
  ツール・ユース・エージェントに蓄積した推論を解析するためのKullback-Leibler-Guidedフレームワークを提案する。 SPAREは、推論トークンの37.89-64.58%を除去しながら、プルーニング法の中で最も高い平均精度を達成する。 この良好な精度とコンテキストのトレードオフは、テキストによる優位性の低下が視覚的証拠への依存を回復し、自己生成言語による過度な条件付けを緩和することを示している。
  論文  参考訳（メタデータ） (2026-08-24T08:29:17Z)
• HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
  我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。 HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。 報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-27T23:50:46Z)
• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
  大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
  論文  参考訳（メタデータ） (2026-05-09T14:32:36Z)
• Context-Length Robustness in Question Answering Models: A Comparative Empirical Study [0.0]
  本稿では,SQuADとHotpotQAの2つのベンチマークを用いて,大規模言語モデルにおける文脈長頑健性の実証的研究を行った。 モデル精度を全文脈長の関数として評価し,応答を含む信号を保持しながら,無関係な文脈の量を体系的に増加させることで評価する。 その結果、コンテキスト長が増加するにつれて性能が一貫した低下を示し、マルチホップ推論タスクではシングルスパン抽出タスクよりもはるかに大きな低下が観測された。
  論文  参考訳（メタデータ） (2026-03-16T17:14:05Z)
• Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
  Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。 本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
  論文  参考訳（メタデータ） (2026-03-07T04:05:27Z)
• Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Literal Extraction, Logical Inference, and Hallucination Risks in Long-Context LLMs [0.0]
  大きな言語モデル(LLM)は、非常に長い入力コンテキストをサポートするようになった。 どのようにして情報を抽出し、大規模に推測するかは、まだ不明である。 我々は, 事実配置, コーパスレベルの事実分布, そして, モデル行動にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2026-01-05T11:30:56Z)
• Text Rationalization for Robust Causal Effect Estimation [4.125187280299246]
  高次元テキストは因果同定と推定に固有の課題を提起する。 冗長または刺激的なテキストの特徴は次元性を増し、極端な確率スコア、不安定な重み、効果推定における膨らませられたばらつきを生み出す。 トークンの少ないサブセットを選択するフレームワークであるConfounding-Aware Token Rationalization (CATR)を用いて,これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-12-05T02:18:45Z)
• NumPert: Numerical Perturbations to Probe Language Models for Veracity Prediction [7.856998585396422]
  本稿では,数値クレームとエビデンスペアの精度予測のための最先端モデルの体系的評価を行う。 その結果、プロプライエタリなシステムの先駆者でさえ、特定の摂動の下で最大62%の精度低下を経験していることが示唆された。 これらの知見は、数値的な事実チェックにおける限界を浮き彫りにして、ロバスト性は現在の言語モデルにとってオープンな課題であり続けていることを示唆している。
  論文  参考訳（メタデータ） (2025-11-13T05:09:52Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。