論文の概要: Mahalanobis-Based Multi-Head Attention for Complex State Propagation

• arxiv url: http://arxiv.org/abs/2608.24462v1
• Date: Tue, 25 Aug 2026 12:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.962548
• Title: Mahalanobis-Based Multi-Head Attention for Complex State Propagation
• Title（参考訳）: マハラノビスに基づく複合状態伝播のための多面的注意
• Abstract要約: textbfMahalanobis-based Multi-Head Attention (MHA-CSP)を提案する。 MHA-CSPは標準的なドット積をtextbfMahalanobis 距離ベースのRBFカーネルに置き換える。 MHA-CSPは、スクラッチからトレーニングされたTransformerとGCNベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 2.392363206556535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose \textbf{Mahalanobis-Based Multi-Head Attention} (MHA-CSP), a novel attention mechanism that replaces the standard dot-product with a \textbf{Mahalanobis distance-based RBF kernel}, which effectively computes attention in an infinite-dimensional feature space without increasing the parameter count. Crucially, the positive definiteness of the Mahalanobis distance enables a \textbf{direct construction of Tree Attention}: attention scores are built directly from accumulated distances, with a LogSumExp correction that rectifies the raw distance by subtracting the log-sum of edge exponentials. Moreover, the multi-head Mahalanobis distance matrices are themselves repurposed to construct an \textbf{attention meshing mechanism}, enabling cross-head kernel collaboration that simultaneously boosts accuracy and training efficiency. Extensive experiments demonstrate that MHA-CSP, with only 119K parameters and \textbf{teacher forcing applied exclusively at the final hidden state}, consistently outperforms Transformer and GCN baselines trained from scratch under identical conditions on long-sequence state tracking tasks. While these baselines rely on dense attention or graph propagation, MHA-CSP achieves robust structured reasoning via synthetic distance rectification---powered by Mahalanobis-based attention---and efficient information bypass inherited from the CSP backbone. This result highlights the effectiveness of complex-valued state propagation with collaborative multi-head rectification in capturing symbolic structures, establishing a new efficiency-performance trade-off for structured reasoning.
• Abstract（参考訳）: 本稿では,標準的なドット積を,パラメータ数を増大させることなく,無限次元の特徴空間における注意を効果的に計算する「textbf{Mahalanobis-Based Multi-Head Attention}」(MHA-CSP)を提案する。 重要な点として、マハラノビス距離の正の定性は、木への注意のスコアを蓄積された距離から直接構築し、エッジ指数の対数の減算によって原距離を補正するLogSumExp補正を行う。 さらに、マルチヘッドマハラノビス距離行列自体を再利用して \textbf{attention meshing mechanism} を構築し、精度とトレーニング効率を同時に向上するクロスヘッドカーネル協調を可能にする。 大規模な実験により、MHA-CSPは119Kパラメータのみと \textbf{teacher の強制が最終隠れ状態にのみ適用されることが示され、長いシーケンス状態追跡タスクで同じ条件下でスクラッチからトレーニングされた Transformer と GCN のベースラインを一貫して上回っている。 これらのベースラインは、密度の高い注意やグラフの伝播に依存しているが、MHA-CSPは、マハラノビスに基づく注意によって、CSPのバックボーンから受け継がれた効率的な情報バイパスによって、合成距離の補正によって頑健な構造的推論を実現する。 この結果は,シンボル構造を捕捉する上での協調的多頭部整合による複素数値状態伝搬の有効性を強調し,構造的推論のための新たな効率-性能トレードオフを確立する。

関連論文リスト

• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• Exact Linear Attention [0.0]
  Exact Linear Attention (ELA) はカーネル関数の正確な分解特性を利用してトランスフォーマー注意のための線形計算複雑性を実現する。 ELAは最大で6倍高速な復号化とKVキャッシュメモリ使用率の75%削減を実現している。 我々は、線形アテンション原理を視覚モデルに拡張し、最大4.3倍のGPU推論速度と7.9倍のパラメータ削減を競合検出精度で達成するYOLO-LATを得る。
  論文  参考訳（メタデータ） (2026-05-13T08:06:48Z)
• MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
  textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
  論文  参考訳（メタデータ） (2026-04-15T15:57:23Z)
• JPmHC Dynamical Isometry via Orthogonal Hyper-Connections [2.4311915994390403]
  JPmHCは、n個の並列ストリームに作用するトレーニング可能な線形ミキサーでIDスキップを置き換えるフレームワークである。 緩やかな病理を予防し、安定性を高める。 両眼的ベースラインに比べて、より高速な収束、高い精度、計算コストの低減を実現している。
  論文  参考訳（メタデータ） (2026-02-20T16:06:01Z)
• Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization [68.89915707647138]
  大規模推論モデル(LRM)は、長い推論連鎖の生成を通じて複雑なタスクを解く際、印象的な能力を示した。 textbfCoSMo(textbfSplit-textbfMerge textbfOptimization)を提案する。
  論文  参考訳（メタデータ） (2026-02-03T05:54:28Z)
• Amortized Spectral Kernel Discovery via Prior-Data Fitted Network [0.0]
  本稿では,事前学習したPFNのスペクトル発見を非結合的に行うための解釈可能性駆動型フレームワークを提案する。 我々は、PFNラプタントを明示的なスペクトル密度推定と対応する定常カーネルにマッピングするデコーダアーキテクチャを提案する。 これにより、最適化ベースのベースラインと比較して、推論時間のオーダー・オブ・マグニチュードが減少する。
  論文  参考訳（メタデータ） (2026-01-29T13:51:26Z)
• Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models [44.28116882776357]
  textbfPunctuation-aware textbfHybrid textbfSparse textbfAttention textbf(PHSA)を提案する。 具体的には,大域的セマンティック表現と句読点付き境界特徴を融合させ,コアセマンティック構造を保ちながら,計算オーバーヘッドをほとんど含まない二重ブランチアグリゲーション機構を設計する。
  論文  参考訳（メタデータ） (2026-01-06T08:47:16Z)
• Making Every Head Count: Sparse Attention Without the Speed-Performance Trade-off [20.259111403684006]
  既存のスパース手法は、しばしば計算効率のために情報の整合性を交換する。 我々はSPAttentionを提案し、その中心となる貢献は、原則的構造スパーシリティ(Principled Structure Sparsity)という新しいパラダイムの導入である。 SPAttentionは、全注目作業負荷をバランスの取れた非重なり合う距離バンドに再編成し、各ヘッドにユニークなセグメントを割り当てる。
  論文  参考訳（メタデータ） (2025-11-12T14:48:23Z)
• HELPNet: Hierarchical Perturbations Consistency and Entropy-guided Ensemble for Scribble Supervised Medical Image Segmentation [4.034121387622003]
  本稿では,新しいスクリブルベースの弱教師付きセグメンテーションフレームワークHELPNetを提案する。 HELPNetはアノテーション効率とセグメンテーション性能のギャップを埋めるために3つのモジュールを統合する。 HELPNetは、スクリブルベースの弱教師付きセグメンテーションの最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-12-25T01:52:01Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• PAM-UNet: Shifting Attention on Region of Interest in Medical Images [5.730272874074418]
  UNetとその変種は、精度と計算効率のバランスをとるという重要な課題に直面している。 本稿では,UnderlineMobile underlineUNetアーキテクチャに基づく新しいアンダーラインプログレッシブアンダーラインAttentionを提案する。 提案手法は精度と速度の両方を優先し,平均IoU 74.65 とダイススコア82.87 の両バランスを達成した。
  論文  参考訳（メタデータ） (2024-05-02T17:33:26Z)
• HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising [13.610045926604224]
  HSIDMamba(HSIDMamba)という新しいネットワークを提案する。 HSDMは、潜在的空間スペクトル依存性の捕捉を効果的に効果的に活用するために調整されている。 特に、HSDMは複数のハイパースペクトル連続走査ブロック(HCSB)から構成され、空間-スペクトル相互作用を強化する。
  論文  参考訳（メタデータ） (2024-04-15T11:59:19Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
  チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。 私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-01-19T03:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。