論文の概要: Adaptive Head Budgeting for Efficient Multi-Head Attention

• arxiv url: http://arxiv.org/abs/2604.22583v1
• Date: Fri, 24 Apr 2026 14:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.495442
• Title: Adaptive Head Budgeting for Efficient Multi-Head Attention
• Title（参考訳）: 効率的なマルチヘッドアテンションのための適応的頭部予算化
• Authors: Bilal Faye, Abdoulaye Mbaye, Hanane Azzag, Mustapha Lebbah,
• Abstract要約: 本稿では,適応型マルチヘッドアテンション機構を備えたトランスフォーマーアーキテクチャであるBudgetFormerを紹介する。 提案手法は,各入力毎に,要求されるアテンションヘッド数に応じた頭部予算と,最も情報性の高い頭部を選択する関連分布を学習する。 実験の結果,提案手法はFLOPやメモリの推論コストを低減し,また,標準的なマルチヘッドを超越した性能を実現することができることがわかった。
• 参考スコア（独自算出の注目度）: 1.9365949510386082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have become the dominant architecture across a wide range of domains, largely due to the effectiveness of multi-head attention in capturing diverse representation subspaces. However, standard multi-head attention activates all heads uniformly for every input, regardless of task requirements or input complexity. In many scenarios, particularly for coarse-grained tasks such as text classification, the relevant information is often global and does not require the full diversity of attention heads. As a consequence, using a fixed number of heads can introduce unnecessary computational cost or lead to suboptimal performance when the allocation does not match the input. To address this limitation, we introduce BudgetFormer, a Transformer architecture equipped with an adaptive multi-head attention mechanism that dynamically allocates computational resources. Our approach learns, for each input, both a head budget corresponding to the number of attention heads required, and a relevance distribution that selects the most informative heads. We also propose a training strategy based on an exploration and exploitation trade-off, allowing the model to discover effective head configurations before converging to efficient usage patterns. Experiments on text classification tasks of varying complexity show that our method reduces inference cost in terms of FLOPs and memory, while also achieving performance that can surpass standard full multi-head attention. These results highlight the potential of adaptive head allocation as a principled approach to improving both efficiency and effectiveness in Transformer models.
• Abstract（参考訳）: トランスフォーマーは様々な領域で支配的なアーキテクチャとなっているが、これは多面的に注目されているためである。 しかし、標準的なマルチヘッドアテンションは、タスクの要求や入力の複雑さに関わらず、全ての入力に対して均一に全てのヘッドを起動する。 多くのシナリオにおいて、特にテキスト分類のような粗いタスクでは、関連する情報は多くの場合グローバルであり、注意点の完全な多様性を必要としない。 結果として、固定数のヘッドを使用することで、不要な計算コストを発生させたり、アロケーションが入力と一致しない場合に、サブ最適性能をもたらすことができる。 この制限に対処するために,動的に計算資源を割り当てる適応型マルチヘッドアテンション機構を備えたトランスフォーマーアーキテクチャであるBudgetFormerを導入する。 提案手法は,各入力毎に,要求されるアテンションヘッド数に応じた頭部予算と,最も情報性の高い頭部を選択する関連分布を学習する。 また,探索とエクスプロイトのトレードオフに基づくトレーニング戦略を提案し,効率的な利用パターンに収束する前に,モデルが効果的な頭部構成を発見できるようにする。 本手法は,FLOPやメモリの推論コストを低減し,また,標準的なマルチヘッドを超越した性能を実現する。 これらの結果は、トランスフォーマーモデルにおける効率性と有効性を改善するための原則的アプローチとして、適応的頭部アロケーションの可能性を強調している。

関連論文リスト

• Explicit Multi-head Attention for Inter-head Interaction in Large Language Models [70.96854312026319]
  マルチヘッド明示的注意(Multi-head Explicit Attention、MEA)は、頭間相互作用を明示的にモデル化した、単純で効果的な注意法である。 MEAは事前トレーニングにおいて強い堅牢性を示し、より高速な収束につながる学習率を使用することを可能にします。 これにより、KVキャッシュメモリ使用率を50%削減できる実用的なキー値キャッシュ圧縮戦略が実現される。
  論文  参考訳（メタデータ） (2026-01-27T13:45:03Z)
• Making Every Head Count: Sparse Attention Without the Speed-Performance Trade-off [20.259111403684006]
  既存のスパース手法は、しばしば計算効率のために情報の整合性を交換する。 我々はSPAttentionを提案し、その中心となる貢献は、原則的構造スパーシリティ(Principled Structure Sparsity)という新しいパラダイムの導入である。 SPAttentionは、全注目作業負荷をバランスの取れた非重なり合う距離バンドに再編成し、各ヘッドにユニークなセグメントを割り当てる。
  論文  参考訳（メタデータ） (2025-11-12T14:48:23Z)
• SAS: Simulated Attention Score [75.1409882298863]
  我々は,多数の注目ヘッドと1頭あたりの隠れ特徴次元をシミュレートしながら,コンパクトなモデルサイズを維持するSAS(Simulated Attention Score)を導入する。 各種データセットとタスクに関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-07-10T12:16:16Z)
• From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning [102.18178065928426]
  効率的なビジュアルインストラクションファインタニング(EVIT)は、最小の計算オーバーヘッドで下流タスクにマルチモーダル大言語モデル(MLLM)を適用することを目指している。 本稿では,Dual Low-Rank Adaptation (Dual-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-11-19T11:03:09Z)
• Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features [37.518025833882334]
  Open Domain Generalization(ODG)は、分散シフトとカテゴリシフトを扱うため、困難なタスクである。 これまでの作業では複数のソース特化ネットワークを使用しており、コストが高い。 本稿では,単一ネットワークのみを用いてODGを処理できる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:22:10Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Adaptive Multi-Resolution Attention with Linear Complexity [18.64163036371161]
  本稿では,AdaMRA(Adaptive Multi-Resolution Attention)という新しい構造を提案する。 我々はマルチレゾリューション・マルチヘッド・アテンション・メカニズムを活用し、アテンションヘッドが粗い方法で長距離コンテキスト情報をキャプチャすることを可能にする。 科学コミュニティによるAdaMRAの利用を促進するため、コード実装を一般公開する予定である。
  論文  参考訳（メタデータ） (2021-08-10T23:17:16Z)
• A Dynamic Head Importance Computation Mechanism for Neural Machine Translation [22.784419165117512]
  複数のアテンションヘッドを使用する並列アテンション機構は、様々な用途でTransformerモデルの性能を向上させる。 本研究では,入力に対する頭部の重要度を動的に計算する動的頭部重要度計算機構(DHICM)の設計に焦点をあてる。 モデルがすべてのヘッドに同じスコアを割り当てることを防ぐために、余分な損失関数を追加し、より重要なヘッドを特定し、パフォーマンスを即興で向上する。
  論文  参考訳（メタデータ） (2021-08-03T09:16:55Z)
• Diversity-Based Generalization for Unsupervised Text Classification under Domain Shift [16.522910268114504]
  本稿では,多様性に基づく一般化の単純かつ効果的な考え方に基づく単一タスクテキスト分類問題の領域適応手法を提案する。 我々の結果は、十分な多様性を保証する機械学習アーキテクチャがより一般化できることを実証している。
  論文  参考訳（メタデータ） (2020-02-25T15:11:02Z)
• Low-Rank Bottleneck in Multi-head Attention Models [74.83235382203604]
  現在のアーキテクチャにおけるヘッド数とヘッドサイズの間のスケーリングは、注目ヘッドの低ランクボトルネックを引き起こします。 本稿では,アテンションユニットの頭部サイズを入力シーケンス長に設定し,ヘッド数に依存しないようにすることを提案する。
  論文  参考訳（メタデータ） (2020-02-17T16:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。