論文の概要: Quaternion Self-Attention with Shared Scores

• arxiv url: http://arxiv.org/abs/2605.24920v1
• Date: Sun, 24 May 2026 07:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.510321
• Title: Quaternion Self-Attention with Shared Scores
• Title（参考訳）: 共有スコアを用いた四元数自己認識
• Authors: Shogo Yamauchi, Tohru Nitta, Hideaki Tamori,
• Abstract要約: 既存の四元数自己アテンションは、コンポーネントのスコアを計算し、各コンポーネントに独立したソフトマックス演算を適用する。 四元数内積を用いた1つの実値スコアを計算する共有スコア四元数自己アテンション機構を提案する。 これによりスコア演算の乗算が75%減少し、ソフトマックス演算の数が4から1に減少する。
• 参考スコア（独自算出の注目度）: 0.21301560294088318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quaternion neural networks are parameter-efficient and model multidimensional dependencies by representing four related features as a single entity. However, existing quaternion self-attention computes component-wise scores and applies independent softmax operations to each component, which increases the computational cost and allows attention distributions to diverge across components. We propose a shared-score quaternion self-attention mechanism that computes a single real-valued score using the quaternion inner product and applies a shared attention distribution across all components. This reduces score-computation multiplications by 75% and the number of softmax operations from four to one. We prove that, when queries and keys are produced by quaternion linear projections that induce component pre-mixing, the component-wise and shared scores lie in the same interaction subspace, indicating that independent component-wise attention primarily re-parameterizes the same interactions rather than expanding the feature interaction space. In speech enhancement, our method reduces inference time by up to 44.3% on a GPU and 58.1% on a CPU while maintaining quality, with consistent trends across vision and natural language processing.
• Abstract（参考訳）: 第四次ニューラルネットワークは、4つの関連する特徴を1つのエンティティとして表現することにより、パラメータ効率とモデル多次元依存である。 しかし、既存の四元数自己アテンションはコンポーネントのスコアを計算し、各コンポーネントに独立したソフトマックス演算を適用し、計算コストを増大させ、コンポーネント間の注意分布を分散させる。 本研究では,四元数内積を用いて1つの実値スコアを計算し,すべてのコンポーネントに共通注意分布を適用する,共有スコア四元数自己アテンション機構を提案する。 これによりスコア演算の乗算が75%減少し、ソフトマックス演算の数が4から1に減少する。 成分混合を誘導する四元線形射影によってクエリとキーが生成されると、コンポーネント単位と共有スコアは同じ相互作用部分空間に置かれ、独立成分単位の注意が機能相互作用空間を拡張するのではなく、主に同じ相互作用を再パラメータ化することを示す。 音声強調では,GPUでは最大44.3%,CPUでは58.1%,視覚や自然言語処理では一貫した傾向がみられた。

関連論文リスト

• Focus What Matters: Matchability-Based Reweighting for Local Feature Matching [6.361840891399624]
  本稿では,学習可能なバイアス項をアテンションロジットに同時に組み込む新しいアテンション再重み付け機構を提案する。 3つのベンチマークデータセットを用いて実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-05-04T15:50:28Z)
• Quaternion-valued Correlation Learning for Few-Shot Semantic Segmentation [33.88445464404075]
  Few-shot segmentation (FSS)は、少数のサンプルしか与えられていないクラスをセグメントすることを目的としている。 相関学習に関する四元数視点を導入し、新しい四元数評価相関学習ネットワーク(QCLNet)を提案する。 我々のQCLNetは超複素値ネットワークとして定式化され、四元数値畳み込みを用いてクエリ部分空間の外部関係を探索する四元数領域の相関テンソルを表す。
  論文  参考訳（メタデータ） (2023-05-12T06:56:22Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Disentangled Representation Learning for Text-Video Retrieval [51.861423831566626]
  テキスト・ビデオ検索(TVR)における相互モダリティの相互作用 我々は相互作用のパラダイムを深く研究し、その計算を2つの項に分けることができることを示した。 本稿では,逐次的かつ階層的な表現を捉えるための非絡み合いフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-14T13:55:33Z)
• Quality-aware Part Models for Occluded Person Re-identification [77.24920810798505]
  咬合は人体再識別(ReID)にとって大きな課題となる 既存のアプローチは一般的に、計算効率とReIDの精度の両面で最適であるように、目に見える身体の部品を推測するための外部ツールに依存している。 閉塞型ReIDのためのQPM(Quality-Aware Part Models)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:51:09Z)
• Eigen Analysis of Self-Attention and its Reconstruction from Partial Computation [58.80806716024701]
  ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。 注意点の変動の大部分は低次元固有空間にあることがわかった。 トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
  論文  参考訳（メタデータ） (2021-06-16T14:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。