論文の概要: Not All Attention Is Equal: A Quantitative Survey of the EEI Trade-off

• arxiv url: http://arxiv.org/abs/2608.15459v1
• Date: Sun, 16 Aug 2026 00:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.31321
• Title: Not All Attention Is Equal: A Quantitative Survey of the EEI Trade-off
• Title（参考訳）: すべての注意が平等ではない:EEIのトレードオフに関する定量的調査
• Abstract要約: この調査では、シーケンス・ツー・シーケンスのタスクの定式化、コンピュータビジョンへの適応、二次的ボトルネックに対処する効率の革新、解釈可能性の向上の4つのスレッドを網羅した。 我々は、効率、表現性、解釈可能性の3つの基準を定義し、EEIスコアリングフレームワークを用いて21の手法を比較した。 我々は、効率表現性・解釈可能性フロンティアの拡張と将来の方向性の特定として、注意研究をフレーミングすることで結論付ける。
• 参考スコア（独自算出の注目度）: 8.068122032539332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms have driven machine learning for a decade, from neural machine translation to language models that do general-purpose reasoning. This survey covers four connected threads: their formulation for sequence-to-sequence tasks, adaptation to computer vision, efficiency innovations that address the quadratic bottleneck, and advances in interpretability. We define three criteria: efficiency, expressiveness, and interpretability, and compare twenty-one methods using an EEI scoring framework. Scores come from a single rater with an assumed +/-1-point perturbation range. A deterministic Monte Carlo analysis with 200,000 samples shows that, under this perturbation model, rank changes of more than one position occur in 67-70% of samples on average. A rank-matched null model reproduces a similar stability profile, so the results support coarse tier-level comparisons rather than fine-grained rankings. The survey traces attention from Bahdanau-Luong alignment through the Transformer and into vision architectures. It reviews fixed and learned sparse attention, linear attention, IO-aware exact algorithms including FlashAttention, and state-space alternatives including Mamba. It also covers induction heads, superposition, and the attention-SSM duality. We further provide a structured narrative review, a benchmark synthesis with cross-study caveats, a five-problem research gap analysis, and a 2015-2026 evolution timeline. We conclude by framing attention research as an expansion of the efficiency-expressiveness-interpretability frontier and identifying future directions including unified efficiency benchmarks, learned routing for hybrid architectures, length generalization, and scalable mechanistic interpretability.
• Abstract（参考訳）: 意識メカニズムは、ニューラルネットワーク翻訳から汎用推論を行う言語モデルまで、機械学習を10年間推進してきた。 この調査では、シーケンス・ツー・シーケンスのタスクの定式化、コンピュータビジョンへの適応、二次的ボトルネックに対処する効率の革新、解釈可能性の向上の4つのスレッドを網羅した。 我々は、効率、表現性、解釈可能性の3つの基準を定義し、EEIスコアリングフレームワークを用いて21の手法を比較した。 スコアは、仮定+/-1点摂動範囲を持つ単一のレーダから得られる。 20,000サンプルを用いた決定論的モンテカルロ分析は、この摂動モデルの下では、平均して67-70%のサンプルにおいて、複数の位置のランク変化が起こることを示している。 ランクマッチングされたヌルモデルも同様の安定性プロファイルを再現するため、結果はきめ細かいランキングではなく粗い階層レベルの比較をサポートする。 この調査は、トランスフォーマーを通したバーダナウ=ロンのアライメントから、視覚アーキテクチャへの注目を辿っている。 修正と学習の少ない注意、線形の注意、FlashAttentionを含むIO対応の正確なアルゴリズム、Mambaを含むステートスペース代替アルゴリズムをレビューする。 また、誘導ヘッド、重ね合わせ、注意-SSM双対性もカバーしている。 さらに、構造化された物語レビュー、クロススタディな注意点を用いたベンチマーク合成、5プロブレムの研究ギャップ分析、2015-2026の進化タイムラインを提供する。 我々は、効率表現性・解釈可能性フロンティアの拡張として注目研究をまとめ、統一効率ベンチマーク、ハイブリッドアーキテクチャの学習的ルーティング、長さの一般化、スケーラブルな機械的解釈可能性を含む将来の方向性を特定することで結論付けた。

関連論文リスト

• Mechanistic Interpretability of Structure-Aware Numerical Reasoning in LLaMA 3.1 8B [51.10897657510313]
  大規模言語モデル (LLM) は, 時系列予測において強い数値シーケンスモデリング能力を示し, 将来性を示す。 機械的解釈可能性の観点からLlama 3.1-8Bについて検討する。 Llamaはタスクに強いパフォーマンスを示し、基盤となる構造を拾えることを示唆しています。
  論文  参考訳（メタデータ） (2026-08-19T01:09:51Z)
• Structure-Aware Modeling of Multiple-Choice Questions Improves Automatic Difficulty Estimation [0.0]
  AQDEは、専門家の判断と競合する難易度推定を得られる可能性があるため、教育評価への期待が高まっている。 AQDE以前の研究では、質問幹と正しいキーにイントラクタを追加することで、難易度予測が一貫して改善されるという証拠が混在していたことが報告されている。 本研究では,その構造的表現に係わる障害情報の有効性を仮定し,分離成分としての障害情報を明示的にモデル化することで,この情報を省略する基準線による難易度推定を改善することを仮定する。
  論文  参考訳（メタデータ） (2026-06-08T03:35:49Z)
• Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models [24.250649573452666]
  視覚モデルの人間の解釈可能性を測定し比較するための枠組みを構築した。 チャンスアンコールされたスコアリング関数は、すべてのモデルを共通のスケールに配置する。 ファンデーションモデルは、監督されたモデルよりも、*無関係に解釈可能である。
  論文  参考訳（メタデータ） (2026-05-19T18:00:06Z)
• Tree-of-Evidence: Efficient "System 2" Search for Faithful Multimodal Grounding [1.6365003324232734]
  Inference-time search algorithm that frames interpretability as a individual optimization problem。 ToEは、粗いグループまたはデータの単位をスコアする軽量なEvidence Bottleneckを採用し、モデルの予測を再現するために必要なコンパクトなエビデンスを特定するためにビームサーチを実行する。 スパースエビデンス予算の下では、ToEは他のアプローチよりも高い決定合意と低い確率忠実度誤差を達成する。
  論文  参考訳（メタデータ） (2026-04-09T01:28:14Z)
• Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking [40.652380579951206]
  In-Context Re- rank (ICR) は、最近$O(1)$代替メソッドとして提案されている。 ICRは内部の注意信号を直接抽出し、テキスト生成のオーバーヘッドを回避する。 統一的な研究は、内部の注意を従来の生成的および可能性に基づくメカニズムと比較していない。
  論文  参考訳（メタデータ） (2026-02-26T03:51:31Z)
• ReLE: A Scalable System and Structured Benchmark for Diagnosing Capability Anisotropy in Chinese LLMs [37.23311145049677]
  本稿では,機能異方性(Capability Anisotropy)を診断するためのスケーラブルなシステムであるReLEを提案する。 我々は,207,843サンプルからなる領域$times$ Capability SymbolicMatrixの304モデルを評価した。
  論文  参考訳（メタデータ） (2026-01-24T09:57:59Z)
• RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
  本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。 RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。 現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
  論文  参考訳（メタデータ） (2025-09-29T15:07:28Z)
• The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
  クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。 我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。 我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:00:15Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。