論文の概要: The Structural Attention Tax: How Retrieval Format Hijacks In-Context Learning Independent of Content

• arxiv url: http://arxiv.org/abs/2606.11198v1
• Date: Tue, 21 Apr 2026 08:47:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.822624
• Title: The Structural Attention Tax: How Retrieval Format Hijacks In-Context Learning Independent of Content
• Title（参考訳）: 構造的注意税 : ヒジャックがコンテンツに依存しないインテクスト学習にどのように対処するか
• Authors: Yuqi Zhang, Di Zhang,
• Abstract要約: 我々は構造的注意税という現象を定式化した:知識グラフ(KG)三倍体である。 KGトリプルは意味論的に等価な自然言語テキストよりもトークン当たりの注目度が2～3倍になる。 注意点を意味的および構造的構成要素に分解する形式的なフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 11.226669792850645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) systems inject external knowledge to improve LLM outputs, yet the format of injected content -- distinct from its semantic relevance -- can independently distort the model's attention distribution. We identify and formalise a phenomenon we term the structural attention tax: knowledge graph (KG) triples, due to their relational delimiters and repeated slot patterns, capture 2-3x more attention per token than semantically equivalent natural-language text ($\hat{o}$(KG) $\approx$ 0.70 vs. $\hat{o}$(neutral) $\approx$ 0.25), compressing demonstration attention by up to 42% -- regardless of whether the triples are relevant or noise. We develop a formal framework decomposing attention scores into semantic and structural components (Eq. 2), derive a compression bound (Proposition 1) connecting token-level format bias to demonstration attention loss, and show that the structural term governs how much attention is diverted while the semantic term governs whether this helps or hurts. This decoupling reveals two orthogonal axes for improving retrieval-augmented ICL: optimising retrieval quality (semantic axis) and reducing format-driven attention capture (structural axis). Empirically, across two model families (Mistral-7B, LLaMA-3-8B) and three QA benchmarks, we observe that source-task alignment dominates: task-matched BM25 retrieval achieves 58-62% on HotpotQA vs. ConceptNet's 25-27%, a >30 pp gap that dwarfs all gating strategies ($\leq$2 pp). We derive five structure-aware mitigation strategies from the framework, ranging from zero-cost prompt modifications to training-time regularisation; format flattening (S3) is validated by both accuracy and attention-level evidence from a verbalized-triple control, while structural dispersal (S1) yields mixed results that illuminate the challenges of format-level intervention.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) システムは、LLM出力を改善するために外部知識を注入するが、インジェクトされたコンテンツのフォーマット(意味的関連性とは異なる)は、モデルの注意分布を独立に歪ませることができる。 知識グラフ(KG)は、リレーショナルデリミタと繰り返しスロットパターンによりトリプルであり、意味論的に等価な自然言語テキスト((KG)$\approx$ 0.70 vs. $\hat{o}$(neutral)$\approx$ 0.25)よりもトークン当たりの注目度を2～3倍にし、トリプルが関連性の有無に関わらず、最大で42%圧縮する。 注意点を意味的・構造的要素に分解する形式的枠組み(Eq.2)を開発し、トークンレベルのフォーマットバイアスとデモ的注意損失を結合する圧縮境界(Proposition 1)を導出し、意味的用語が助けるか否かを支配している間に、構造的用語がどの程度の注意を分散させるかを示す。 このデカップリングは、検索強化ICLを改善するための2つの直交軸、すなわち、検索品質(意味軸)を最適化し、フォーマット駆動型アテンションキャプチャー(構造軸)を低減する。 実験的に、2つのモデルファミリー(Mistral-7B, LLaMA-3-8B)と3つのQAベンチマークにおいて、ソースタスクアライメントが支配的であることが確認された。 我々は,ゼロコストの即時修正から訓練時間正規化に至るまで,フレームワークから5つの構造対応緩和戦略を導出する。フォーマットフラット化(S3)は,言語化三重制御による正確性と注意レベル証拠の両方によって検証され,構造分散(S1)は,形式レベルの介入の課題を照らした混合結果が得られる。

関連論文リスト

• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Focus-then-Context: Subject-Centric Progressive Visual Token Reduction for Vision-Language Models [16.39553879497114]
  SPprunerは主題中心のプログレッシブ・リダクション・パラダイムである。 人間の視覚知覚システムのtextitFocus-then-Contextメカニズムをエミュレートする。 視覚入力の高忠実度表現を保証するために、包括的視覚被写体スペクトルを掘削することができる。
  論文  参考訳（メタデータ） (2026-05-20T09:37:53Z)
• SLASH the Sink: Sharpening Structural Attention Inside LLMs [55.75072688988806]
  大規模言語モデル(LLM)は目覚ましい意味的理解を示すが、連続化されたフォーマットでグラフトポロジを処理する際に構造的理解に苦慮する。 本稿では,StructuraL Attention SHarpening (SLASH)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:59:07Z)
• STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction [0.20165644958637055]
  制御可能な推論と堅牢な微調整のための2部フレームワークを提案する。 まず、フォーマットのドリフト、ラベルの曖昧さ、エビデンス幻覚、メタデータ条件の混乱に対処するためのタスクに依存しないプロンプト戦略を導入する。 第2に,グループ不均一性のステートフルなロバスト最適化手法STaR-DROを導入する。
  論文  参考訳（メタデータ） (2026-04-09T21:58:42Z)
• SEER: Spectral Entropy Encoding of Roles for Context-Aware Attention-Based Design Pattern Detection [0.0]
  本稿では,ソースコードからGang of Four(GoF)デザインパターンを検出するために,従来のContext Is All You Needのアップグレード版を提案する。 SEERはこれらの制限に、(i)各クラスの相互作用グラフのラプラシアンスペクトルからメンバーごとのロール埋め込みを導出するスペクトルエントロピーロールエンコーダ、(ii)メソッドカテゴリに経験的校正期間を割り当てる時間重呼出コンテキストの2つの原則で対処する。 PyDesignNet上のSEER(1,832ファイル、35,000のシーケンス、23のGoFパターン)を評価し、以前のシステムよりも一貫した利得を観察する。
  論文  参考訳（メタデータ） (2026-01-19T19:13:40Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• Spectral Archaeology: The Causal Topology of Model Evolution [0.0]
  振る舞いベンチマークは、モデルが何をするかをTextithowに教えてくれますが、textithowではありません。 本研究では,アテンショングラフスペクトルを用いた無トレーニングメカニスティックプローブを提案する。 12のモデルと10の言語にまたがって、標準評価で欠落した不連続を露呈する「安定な指紋」が得られる。
  論文  参考訳（メタデータ） (2026-01-06T21:26:54Z)
• Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models [44.28116882776357]
  textbfPunctuation-aware textbfHybrid textbfSparse textbfAttention textbf(PHSA)を提案する。 具体的には,大域的セマンティック表現と句読点付き境界特徴を融合させ,コアセマンティック構造を保ちながら,計算オーバーヘッドをほとんど含まない二重ブランチアグリゲーション機構を設計する。
  論文  参考訳（メタデータ） (2026-01-06T08:47:16Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
  スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。 スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。 本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
  論文  参考訳（メタデータ） (2024-07-25T00:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。