論文の概要: Data-Adaptive Mahalanobis Metric Learning for Cross-Head Attention in Transformers

• arxiv url: http://arxiv.org/abs/2610.13261v1
• Date: Fri, 09 Oct 2026 09:11:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.502013
• Title: Data-Adaptive Mahalanobis Metric Learning for Cross-Head Attention in Transformers
• Title（参考訳）: トランスフォーマーにおける多面的注意のためのデータ適応型マハラノビス計量学習
• Abstract要約: DAMCHAは、メートル法学習のレンズを通してMHA(Multi-Head Attention)を一般化するシンプルで効果的な注意機構である。 まず、頭部間の相互作用を明示的に捉えたマハラノビスのような類似性を引き起こす、完全な頭頂距離行列を学習する。 第二に、距離行列を入力依存関数としてパラメータ化することで、データ固有の多様体構造に注意幾何学を動的に適応させることができる。
• 参考スコア（独自算出の注目度）: 4.162323532392857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose Data-Adaptive Mahalanobis Cross-Head Attention (DAMCHA), a simple and effective attention mechanism that generalizes Multi-Head Attention (MHA) through the lens of metric learning. Standard MHA implicitly learns a static, head-wise Euclidean similarity corresponding to the diagonal blocks of a unified cross-head metric matrix, discarding all off-diagonal interactions across heads. DAMCHA addresses this limitation via two key innovations. First, it learns the full cross-head metric matrix, inducing a Mahalanobis-like similarity that explicitly captures inter-head interactions beyond the restricted block-diagonal structure of MHA. Second, it parameterizes the metric matrix as an input-dependent function, enabling the attention geometry to dynamically adapt to the intrinsic manifold structure of the data rather than remaining fixed after training. We further introduce principled regularization strategies, most notably stack-wise parameter sharing, to ensure computational efficiency and stable optimization. DAMCHA serves as a drop-in replacement for MHA and its variants in various Transformer architectures, delivering superior expressive power and learning performance with comparable or reduced computational overhead. Extensive experiments demonstrate that DAMCHA-based Transformers consistently outperform competing baselines across a range of benchmark tasks. Code is available at https://github.com/erwinmsmith/DAMCHA.
• Abstract（参考訳）: 本稿では,MHA(Multi-Head Attention)をメトリクス学習のレンズを通して一般化する,シンプルかつ効果的な注意機構であるData-Adaptive Mahalanobis Cross-Head Attention (DAMCHA)を提案する。 標準MHAは暗黙的に、統合されたクロスヘッド計量行列の対角ブロックに対応する静的で頭回りのユークリッド類似性を学習し、頭部間のすべての対角的相互作用を破棄する。 DAMCHAは2つの重要なイノベーションを通じてこの制限に対処する。 まず、完全なクロスヘッド計量行列を学習し、マハラノビスのような類似性を誘導し、MHAの制限されたブロック対角構造を超えた頭部間相互作用を明示的に捉える。 第二に、距離行列を入力依存関数としてパラメータ化することで、注意幾何学はトレーニング後に固定されたままではなく、データの固有多様体構造に動的に適応することができる。 さらに、計算効率と安定した最適化を確保するために、原則化された正規化戦略、特にスタック単位のパラメータ共有を導入する。 DAMCHAは、様々なTransformerアーキテクチャにおけるMHAとその派生品のドロップイン代替として機能し、計算オーバーヘッドを同等または低減した表現力と学習性能を提供する。 DAMCHAベースのTransformerは、さまざまなベンチマークタスクで競合するベースラインを一貫して上回っている。 コードはhttps://github.com/erwinmsmith/DAMCHAで入手できる。

関連論文リスト

• POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation [57.57816409869894]
  大規模言語モデルをトレーニングするためのスケーラブルでメモリ効率のよい変種であるPOET-Xを紹介する。 PoET-Xは、スループットとメモリ効率を大幅に改善しながら、PoETの一般化と安定性の利点を維持している。
  論文  参考訳（メタデータ） (2026-03-05T18:59:23Z)
• Explicit Multi-head Attention for Inter-head Interaction in Large Language Models [70.96854312026319]
  マルチヘッド明示的注意(Multi-head Explicit Attention、MEA)は、頭間相互作用を明示的にモデル化した、単純で効果的な注意法である。 MEAは事前トレーニングにおいて強い堅牢性を示し、より高速な収束につながる学習率を使用することを可能にします。 これにより、KVキャッシュメモリ使用率を50%削減できる実用的なキー値キャッシュ圧縮戦略が実現される。
  論文  参考訳（メタデータ） (2026-01-27T13:45:03Z)
• Share Your Attention: Transformer Weight Sharing via Matrix-based Dictionary Learning [6.346469177254699]
  本稿ではトランス層間における重み共有の構造化フレームワークを提案する。 CNNにおける辞書学習に着想を得て,トランスフォーマー層間の重み共有を構造化するためのフレームワークを提案する。 提案手法は,アテンション投影行列を共有辞書原子に分解し,アテンションモジュールのパラメータを66.7%削減する。
  論文  参考訳（メタデータ） (2025-08-06T16:06:43Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Multi-branch of Attention Yields Accurate Results for Tabular Data [8.017123125747258]
  本稿では,エンコーダ・デコーダ・トランスを用いたMAYAを提案する。 エンコーダでは、複数の並列注意枝を構成するマルチブランチ・オブ・アテンション(MBA)を設計する。 我々は、より堅牢な表現を生成するために、動的一貫性重み制約を伴う協調学習を採用する。
  論文  参考訳（メタデータ） (2025-02-18T03:43:42Z)
• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• Sliceformer: Make Multi-head Attention as Simple as Sorting in Discriminative Tasks [32.33355192614434]
  我々は,Sliceformerと呼ばれるトランスフォーマーの効果的かつ効率的なサロゲートを提案する。 我々のスライスフォーマーは、従来のMHA機構を極めて単純なスライシングソーシングの操作で置き換える。 我々のSliceformerは、Transformerとその変種よりもメモリコストが低く、高速な性能を実現しています。
  論文  参考訳（メタデータ） (2023-10-26T14:43:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。