論文の概要: Matrix Zonotopic Attention: A Context-Adaptive Value Projection for Set Transformers
- arxiv url: http://arxiv.org/abs/2608.05472v1
- Date: Wed, 05 Aug 2026 23:43:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.671221
- Title: Matrix Zonotopic Attention: A Context-Adaptive Value Projection for Set Transformers
- Title(参考訳): Matrix Zonotopic Attention: A Context-Adaptive Value Projection for Set Transformer (特集:情報ネットワーク)
- Abstract要約: マルチヘッドアテンションは、入力依存のソフトマックスルーティングと入力非依存の線形値投影を組み合わせる。
この非対称性の帰結について検討する。
本稿では,固定値投影を文脈適応型行列-ゾノトペ族に置き換えるマトリックス・ゾノトピー注意(MZAttn)を提案する。
- 参考スコア(独自算出の注目度): 3.6503889532208045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-head attention combines an input-dependent softmax routing with an input-independent linear value projection, so the per-sample operator mapping aggregated values to outputs is the same for every input set. We study the consequences of this asymmetry for permutation-invariant set targets. We introduce the Transformation Degrees of Freedom (TDOF) of a target operator, a complexity measure counting the input-dependent directions an exact representation requires, and present a depth-separation analysis showing that context-rigid attention needs depth proportional to the target's TDOF, whereas a single layer with a context-adaptive value family can represent the same target. Building on this analysis, we propose Matrix Zonotopic Attention (MZAttn), which replaces the fixed value projection with a context-adaptive matrix-zonotope family: a centre matrix plus a sum of generator matrices weighted by input-dependent gates. The construction reduces to standard multi-head attention at initialisation, preserves permutation equivariance, and admits a data-driven reachability interpretation. Experiments on a range of set-prediction tasks are consistent with the TDOF prediction that the architectural advantage is selective: it appears on targets that depend on the input set in a high-rank, sparsely combinatorial way, and is small on aggregate-statistic targets where parameter-matched standard attention is already competitive.
- Abstract(参考訳): マルチヘッドアテンションは、入力依存のソフトマックスルーティングと入力非依存の線形値プロジェクションを組み合わせるため、各入力セットに対して、集約された値を出力にマッピングするサンプル演算子は同じである。
置換不変集合ターゲットに対するこの非対称性の結果について検討する。
本稿では、ターゲット演算子の変換自由度(TDOF)、正確な表現を必要とする入力依存方向をカウントする複雑性尺度、および、コンテキスト厳密な注意がターゲットのTDOFに比例する深度を必要とすることを示す深度分離分析を紹介する。
この分析に基づいて、固定値投影を文脈適応行列-ゾノトペ族(中央行列と入力依存ゲートで重み付けされたジェネレータ行列の和)に置き換えるマトリックス・ゾノトピー注意(MZAttn)を提案する。
この構造は、初期化時の標準的なマルチヘッドの注意を減らし、置換同値を保持し、データ駆動の到達可能性解釈を許容する。
一連のセット予測タスクの実験は、アーキテクチャ上の優位性は選択的であるというTDOFの予測と一致している:それは、高ランクで、疎結合な方法で入力セットに依存するターゲットに現れ、パラメータマッチングされた標準の注意が既に競合している集合統計目標に小さい。
関連論文リスト
- Quantum principal component analysis without eigenvector recovery [9.811303336285961]
我々は、ハードトップ$kのプロジェクタをエントロピー規則化されたFermi-Diracフィルタに置き換える測定ベースのソフトPCAフレームワークを提案する。
このフィルタは量子測定として直接解釈され、自然に量子的アプローチを示唆する。
新しい入力に対して、同じ量子回路はソフトプリンシパル部分空間スコア、スペクトルエネルギープロファイル、ポストセレクトされたフィルター状態を得る。
論文 参考訳(メタデータ) (2026-05-27T04:27:47Z) - Filtered Spectral Projection for Quantum Principal Component Analysis [1.2318267573115809]
Filtered Spectral Projection Algorithm (FSPA)
振幅符号化された中心データに対して、アンサンブル密度行列$=sum_i p_i|_iranglelangle_i|$は共分散行列と一致する。
非中心データの場合、$$は中心化せずにPCAに対応し、標準PCAからの偏差を定量化する固有値インターレース境界を導出する。
論文 参考訳(メタデータ) (2026-03-13T11:55:39Z) - Customizing the Inductive Biases of Softmax Attention using Structured Matrices [46.30740502186753]
注意の中心となるコンポーネントはスコアリング関数で、入力を低次元のクエリとキーに変換する。
BTT(Block-Train)やMLR(Multi-Level Low Rank)など,高いランクを持つ計算効率の高い構造化行列に基づく新たなスコアリング関数を提案する。
MLRに基づくアテンション法は,標準アテンションとスライディングウインドウアテンションの変種に比較して,スケーリング法を改良する。
論文 参考訳(メタデータ) (2025-09-09T17:50:58Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Entry-Specific Matrix Estimation under Arbitrary Sampling Patterns through the Lens of Network Flows [9.631640936820126]
行列補完は、観察されたエントリのスパースセットに基づいて、低ランク行列の欠落値を予測するタスクに取り組む。
観測パターンによって誘導される二部グラフのネットワークフローに基づく行列補完アルゴリズムを提案する。
この結果から,行列内の特定のエントリの回復に対する最小二乗誤差は,グラフ内の対応するエッジの有効抵抗に比例することを示した。
論文 参考訳(メタデータ) (2024-09-06T02:01:03Z) - Weakly supervised covariance matrices alignment through Stiefel matrices
estimation for MEG applications [64.20396555814513]
本稿では,Mixing Model Stiefel Adaptation (MSA)と呼ばれる時系列データに対する新しいドメイン適応手法を提案する。
我々は、ドメイン間の等価な信号分散とペアの対応を確立することにより、ターゲット領域における豊富なラベルのないデータを利用して効果的な予測を行う。
MSAは、Cam-CANデータセットのMEG信号を用いて、タスクの変動を伴う脳年齢回帰の最近の手法より優れている。
論文 参考訳(メタデータ) (2024-01-24T19:04:49Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z) - IoU-Enhanced Attention for End-to-End Task Specific Object Detection [17.617133414432836]
R-CNNは画像に密着したアンカーボックスやグリッドポイントを使わずに有望な結果が得られる。
クエリとアテンション領域の間のスパースの性質と1対1の関係のため、自己注意に大きく依存する。
本稿では,自己注意における値ルーティングの先行として,異なるボックス間でIoUを使用することを提案する。
論文 参考訳(メタデータ) (2022-09-21T14:36:18Z) - Eigen Analysis of Self-Attention and its Reconstruction from Partial
Computation [58.80806716024701]
ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。
注意点の変動の大部分は低次元固有空間にあることがわかった。
トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
論文 参考訳(メタデータ) (2021-06-16T14:38:42Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z) - Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。
未知の置換と基数を持つ集合を予測するための新しい手法を提案する。
関連視覚問題に対する集合定式化の有効性を実証する。
論文 参考訳(メタデータ) (2020-01-30T01:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。