論文の概要: Adaptive Anisotropic Attention for Axis-Structured Signals
- arxiv url: http://arxiv.org/abs/2609.08788v2
- Date: Tue, 15 Sep 2026 05:15:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.058531
- Title: Adaptive Anisotropic Attention for Axis-Structured Signals
- Title（参考訳）: 軸構造信号に対する適応的異方性アテンション
- Abstract要約: 自己注意(Self-attention)は、すべてのトークンペアを、構造化信号とミスマッチ可能な相互作用異方性前兆である学習前に、同等に妥当なものとして扱う。
適応的異方性注意 (Adaptive Anisotropic Attention, AAA) を導入し, 注意を時間的経路と空間的経路の2つの経路に分割する。
いずれの経路も必要であり、重み付けされた和が1つの経路の難しい選択に勝ることを示し、その利点の大部分は、ネットワークの各層で異なる時間的/空間的バランスを学ぶことにある。
- 参考スコア（独自算出の注目度）: 5.616707402426108
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Dense self-attention treats all token pairs as equally plausible before learning, an interaction-isotropic prior that can be mismatched to structured signals. For structured, low signal-to-noise ratio (SNR) signals such as EEG, dependencies are organized along the electrode and time axes, and this uniform prior exposes each token to many irrelevant interactions. We introduce Adaptive Anisotropic Attention (AAA), which splits attention into two paths: a temporal path, where each token attends to the tokens of its own electrode across time, and a spatial path, where it attends to the tokens of the other electrodes at the same time step. A small gate predicts, for every token, a convex combination of the two path outputs: two non-negative weights that sum to one. On six EEG downstream tasks, the resulting model, AXON (AXis-factorized Operator Network), improves mean balanced accuracy over a dense baseline under both linear probing and full fine-tuning. We show that both paths (temporal and spatial) are necessary and that the weighted sum beats a hard choice of one path; most of the benefit comes from the gate learning a different temporal/spatial balance at each layer of the network. Controlled audio spectrogram experiments show that axis factorization transfers beyond EEG. These results suggest that aligning attention with the natural axes of structured signals provides a useful inductive bias.
- Abstract（参考訳）: Dense self-attentionは、すべてのトークンペアを学習前に同等に妥当なものとして扱う。
構造化された低信号-雑音比(SNR)信号に対して、EEGは電極と時間軸に沿って依存関係を整理し、この均一な前もって各トークンを多くの無関係な相互作用に公開する。
本稿では,アダプティブ・異方性注意(Adaptive Anisotropic Attention,AAA)を導入し,各トークンが時間にわたって自身の電極のトークンに付随する時間的経路と,他の電極のトークンに同時に出席する空間的経路の2つの経路に分割する。
小さなゲートは、トークンごとに2つの経路の凸結合を予測します。
6つのEEG下流タスクにおいて、AXON(AXis-factorized Operator Network)モデルが、線形探索とフル微調整の両方の下で、密度の高いベースライン上で平均平衡精度を改善する。
重み付けされた和が1つの経路の難易度を上回り、その利点の大部分は、ネットワークの各層で異なる時間的/空間的バランスを学習することにある。
制御されたオーディオスペクトログラム実験により、軸の分解は脳波を超えて伝達されることが示された。
これらの結果は、構造化信号の自然な軸に注意を合わせることが有益な帰納バイアスをもたらすことを示唆している。
関連論文リスト
- From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。
単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。
トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
論文 参考訳（メタデータ） (2026-07-12T09:44:54Z) - What Does a Discrete Diffusion Model Learn? [71.03603607324338]
離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。
まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。
すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
論文 参考訳（メタデータ） (2026-07-06T17:56:11Z) - Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention [0.0]
標準的な注意力に欠ける2つの相補的帰納バイアスを同定する。
正当性と局所性は相補的帰納バイアスであり、それぞれが単独では満たせないギャップに対処する。
この超添加性は、2つの独立したトレーニングランで観察され、中心的な経験的発見である。
論文 参考訳（メタデータ） (2026-05-25T22:04:31Z) - SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。
SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-15T07:26:54Z) - The Exponentially Weighted Signature [41.02458927230264]
EWS (Exponentially Weighted Signature) について紹介する。
EWS はテンソル代数上の線型制御微分方程式の唯一の解であることを示す。
我々は、このフレームワークを用いて、2つのSDEベースの回帰タスクにおいて、EWSと署名とEMFの間の表現力のギャップを実証的に示す。
論文 参考訳（メタデータ） (2026-03-19T17:51:20Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - Missing-Data-Induced Phase Transitions in Spectral PLS for Multimodal Learning [2.9748898344267776]
PLS-SVDを独立したエントリーワイド・アット・アット・ランダムマスキング法で検討した。
PLS-SVDは、臨界信号対雑音閾値以下の鋭いBBP型相転移を示す。
マルチモーダル実験は、予測された位相図と、アスペクト比、信号強度、欠落レベルにまたがる回復曲線を相関させる。
論文 参考訳（メタデータ） (2026-01-29T05:46:44Z) - Lightweight Transformer for EEG Classification via Balanced Signed Graph Algorithm Unrolling [22.934749236365178]
EEG信号は、有限グラフ内の負のエッジによってうまくモデル化される固有の反相関を持つ。
我々は、バランスの取れた符号グラフ上の信号に対するスペクトル復調アルゴリズムをアンロールすることで、軽量で解釈可能なトランスフォーマーのようなニューラルネットを構築する。
実験により,本手法は,代表的なディープラーニング手法に匹敵する分類性能が得られた。
論文 参考訳（メタデータ） (2025-10-03T14:08:42Z) - Biaxialformer: Leveraging Channel Independence and Inter-Channel Correlations in EEG Signal Decoding for Predicting Neurological Outcomes [1.7656489005289302]
脳波信号の正確な復号には、個々のチャネル内の時間的ダイナミクスとチャネル間の空間的依存関係の両方をモデル化する必要がある。
チャネル独立性(CI)戦略を利用したトランスフォーマーベースモデルは,様々な時系列タスクにおいて高い性能を示した。
本稿では,2段階の注意に基づくフレームワークを巧みに設計したBiformerを提案する。
論文 参考訳（メタデータ） (2025-06-18T11:47:26Z) - Graph Neural Networks for Edge Signals: Orientation Equivariance and Invariance [50.277959544420455]
我々は、新しい方向対応エッジレベルグラフシフト演算子からなるアーキテクチャであるEIGNを開発する。
EIGNは、例えばRMSEのフローシミュレーションタスクを最大23.5%改善するなど、エッジレベルのタスクにおける以前の作業より優れていた。
論文 参考訳（メタデータ） (2024-10-22T12:12:43Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。