論文の概要: Semantic Head Specialization Guides Hybrid ViT Attention for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2608.28383v1
• Date: Fri, 28 Aug 2026 14:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.354849
• Title: Semantic Head Specialization Guides Hybrid ViT Attention for Multimodal LLMs
• Title（参考訳）: セマンティックヘッドスペシャライゼーションガイド
• Abstract要約: 我々は、ViTの注意を研究し、それらが、最も注目されているパターンである、オブジェクト・スペシャリストの役割に分化するのを見いだした。 本研究では,この特殊化を定量化するためにSHS-Indexを提案し,チャンクウインドウのViTとフルアテンションを区別し,下流のベンチマーク性能を強く追跡していることを示す。 我々は、22のイメージタスクとビデオタスクの完全な注意を6.5倍少なくするハイブリッドであるAriadne Attentionを設計する。
• 参考スコア（独自算出の注目度）: 53.38240440614346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid attention dominates frontier LLMs, yet Vision Transformers (ViTs) in multimodal LLMs lack a satisfactory hybrid design, with no consensus on why certain attention patterns work better. To fill this gap, we study ViT attention heads and find they differentiate into object- and background-specialist roles, a pattern most pronounced under full attention; we call this Semantic Head Specialization (SHS). We propose SHS-Index to quantify this specialization, show that it distinguishes full-attention from chunk-window ViTs, and find that it strongly tracks downstream benchmark performance. We then identify three structural factors that shape SHS---window interaction, token serialization, and local softmax allocation---and use them as design principles for hybrid attention. Guided by these factors, we design Ariadne Attention, a hybrid that matches full attention on 22 image and video tasks at 6.5x less attention compute. Our findings establish head specialization as a measurable property for diagnosing and designing principled hybrid ViT attention at the multimodal-LLM scale.
• Abstract（参考訳）: ハイブリッドアテンションはフロンティア LLM を支配しているが、マルチモーダル LLM におけるビジョントランスフォーマー (ViT) には十分なハイブリッド設計が欠けており、特定のアテンションパターンがうまく機能する理由については意見が一致していない。 このギャップを埋めるために、私たちはViTの注意を研究し、それらが対象と背景の特殊主義者の役割に分化していることを発見し、このパターンをSemantic Head Specialization (SHS)と呼ぶ。 本研究では,この特殊化を定量化するためにSHS-Indexを提案し,チャンクウインドウのViTとフルアテンションを区別し,下流のベンチマーク性能を強く追跡していることを示す。 次に,SHSを形成する3つの構造因子,すなわちウィンドウインタラクション,トークンシリアライゼーション,および局所ソフトマックスアロケーションを同定し,それらをハイブリッドアテンションの設計原理として利用する。 これらの要因によって導かれたAriadne Attentionは、22の画像タスクとビデオタスクの完全な注意を6.5倍の注意計算で表現するハイブリッドである。 本研究は,マルチモーダルLLMスケールでのハイブリッドVT注意の診断および設計のための測定可能な特性として,頭部特殊化を確立した。

関連論文リスト

• ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs [32.51643420504522]
  マルチモーダル大言語モデル(MLLM)は幻覚によって著しく妨げられている。 幻覚の内的署名として,テキスト・ツー・イメージ・クロス・アテンションの段階的劣化を同定する。 本稿では,テキスト・ツー・イメージ・クロスアテンション・ダイナミクスに直接介入するアテンションベースのフレームワークであるADAPTを提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:46:10Z)
• HydraHead: From Head-Level Functional Heterogeneity to Specialized Attention Hybridization [54.02338209487246]
  我々はHydraHeadを紹介した。HydraHeadは、フルアテンション(FA)とリニアアテンション(LA)をヘッド軸に沿ってハイブリッド化する新しいアーキテクチャである。 HydraHeadは、検索クリティカルなヘッドを識別し、FAのみを保存する、解釈可能性駆動の選択戦略を備えている。 ベースラインを512Kのコンテキスト長で69%以上改善し、ネイティブコンテキスト長256Kと同等の大きさのモデルであるQwen3.5に近づいた。
  論文  参考訳（メタデータ） (2026-06-18T11:14:38Z)
• ViT-AdaLA: Adapting Vision Transformers with Linear Attention [71.36851471416034]
  ビジョントランスフォーマー (ViT) ベースの視覚基礎モデル (VFM) は、様々な視覚タスクにおいて顕著な性能を達成している。 ViTの既存の線形アテンションアプローチは、通常、スクラッチから訓練され、かなりの計算資源を必要とする。 本稿では,VFMから線形注意への事前知識の適応と伝達を効果的に行う新しいフレームワークであるViT-AdaLAを提案する。
  論文  参考訳（メタデータ） (2026-03-17T02:15:48Z)
• MMSpec: Benchmarking Speculative Decoding for Vision-Language Models [43.4716250339058]
  我々は、視覚言語モデルにおける投機的復号化を評価するための最初のベンチマークであるMMSpecを紹介する。 MMSpecは6つのタスクカテゴリにわたる600のマルチモーダルサンプルを含み、10の代表的な投機的復号アルゴリズムを統合している。 そこで我々はViSkipを提案する。ViSkipは投機を視覚トークンに動的に適応し、最先端の性能を実現するための投機的復号法である。
  論文  参考訳（メタデータ） (2026-03-16T08:55:42Z)
• A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention [13.144793724034761]
  トランスフォーマーは現代の大言語モデルの基盤となっている。 完全な注意に対する表現力は厳密な理論的特徴を欠いている。 我々の研究は、ハイブリット・アテンションと標準フルアテンションの最初の証明可能な分離を提供し、異なるアテンション・メカニズムの基本的能力と限界を理解するための理論的視点を提供する。
  論文  参考訳（メタデータ） (2026-02-02T07:47:21Z)
• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Scratching Visual Transformer's Back with Uniform Attention [49.31658397277271]
  本稿では,ViTモデルにおける注目度密度の役割について検討する。 必要な密接な相互作用を提供するために、VTモデルの各層に均一な注意を手動で挿入する。 CBの包含は、本来の注目マップにおける密度の程度を減少させ、ViTモデルのキャパシティと一般化可能性の両方を増大させる。
  論文  参考訳（メタデータ） (2022-10-16T06:14:27Z)
• Refiner: Refining Self-attention for Vision Transformers [85.80887884154427]
  視覚変換器(ViT)は、CNNと比較して画像分類タスクにおいて、競合する精度を示す。 本稿では,ViTの自己注意マップを直接洗練するために,ファインダと呼ばれる概念的にシンプルなスキームを導入する。 refinerはアテンションマップの局所的なパターンを拡大するために畳み込みを適用します。これは、ローカルなアテンション特徴を学習可能なカーネルで局所的に集約した上で、グローバルなアテンションで集約した分散ローカルアテンション特徴と等価であることを示す。
  論文  参考訳（メタデータ） (2021-06-07T15:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。