論文の概要: Frequency-Domain Latent Attention Gating for Cross-Domain Token Aggregation
- arxiv url: http://arxiv.org/abs/2606.08191v1
- Date: Sat, 06 Jun 2026 14:21:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.901164
- Title: Frequency-Domain Latent Attention Gating for Cross-Domain Token Aggregation
- Title（参考訳）: クロスドメイントークン集約のための周波数領域潜在注意ゲーティング
- Authors: Kewei Li, Rongying Zhang, Xueli Wang, Xiwen Gong, Zhongjian Wang, Lan Huang, Ruochi Zhang, Fengfeng Zhou,
- Abstract要約: トークンアグリゲーションは、トークン表現をサンプルレベルの予測にマッピングするモデルにおいて一般的なボトルネックである。
実FFTでトークン表現を変換するプラグインアグリゲーションモジュールFLaGを提案する。
ESM2による抗微生物ペプチド(AMP)活性予測のFLaG,ResNet18による画像分類,RoBERTaによるテキスト分類について検討した。
- 参考スコア（独自算出の注目度）: 6.535173782861673
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Token aggregation is a common bottleneck in models that map token representations to sample-level predictions, yet most pooling methods operate only in the original token domain. We propose FLaG, a plug-in aggregation module that transforms token representations with the real FFT, summarizes spectral components with learnable latent queries, applies a channel-wise gate, and reconstructs enhanced time-domain tokens for final pooling. We evaluate FLaG on antimicrobial peptide (AMP) activity prediction with ESM2, image classification with ResNet18 on CIFAR-10 and CIFAR-100, and text classification with RoBERTa on IMDB and GLUE. FLaG achieves its clearest gains on the ESM2-8M antimicrobial peptide tasks and on CIFAR-100, while remaining competitive with strong text baselines on IMDB and GLUE. Then we probe its behavior on the AMP setting with band knockouts, gate summaries, residue perturbations, latent-query readouts, and structure-proxy stratification. We find that low-frequency bands contribute the most overall, and the remaining higher-band pattern is more sample-specific. The gate acts as a broadly shared spectral reweighting stage and the cross-attention patterns are sample-specific with mild query-wise differentiation, and higher-helix peptides exhibit stronger average spectral sensitivity in both bacteria. The supplementary materials, source code and data are released at https://www.healthinformaticslab.org/supp/ and https://github.com/Kewei2023/AMPCliff/tree/FLaG.
- Abstract（参考訳）: トークン表現をサンプルレベルの予測にマッピングするモデルにおいて、トークン集約は一般的なボトルネックである。
本稿では、実際のFFTでトークン表現を変換し、学習可能な遅延クエリでスペクトル成分を要約し、チャネルワイドゲートを適用し、最終的なプールのための拡張時間領域トークンを再構築するプラグイン集約モジュールFLaGを提案する。
ESM2による抗微生物ペプチド(AMP)活性予測のFLaG, CIFAR-10およびCIFAR-100におけるResNet18による画像分類, IMDBおよびGLUEによるRoBERTaによるテキスト分類について検討した。
FLaG は ESM2-8M 抗微生物ペプチドタスクや CIFAR-100 において、IMDB や GLUE の強いテキストベースラインと競合しながら、最も顕著な利益を達成している。
次に、バンドノックアウト、ゲートサマリー、残余摂動、潜水型リードアウト、構造-プロキシ層化によるAMP設定におけるその挙動を探索する。
その結果、低周波帯域が最も寄与し、残りの高域パターンはより標本特異的であることが判明した。
ゲートは広く共有されたスペクトル再加重段階として機能し、クロスアテンションパターンは軽度なクエリワイド分化を伴うサンプル特異的であり、高ヘリックスペプチドは両細菌においてより強い平均スペクトル感度を示す。
追加資料、ソースコード、データはhttps://www.healthinformaticslab.org/supp/とhttps://github.com/Kewei2023/AMPCliff/tree/FLaGで公開されている。
関連論文リスト
- SagnacAssisted Enhanced OTDR for Distributed Acoustic Sensing: A Standardized Benchmark and Engineering Evaluation Framework [3.5435442578622127]
本研究では,サニャック支援による$-OTDRセンシングアーキテクチャと,エンジニアリング指向のDASイベント認識のための標準ベンチマークフレームワークを開発する。
サニャック干渉計は、$$-OTDRチャネルにおけるフェーディング・パンの観測を補う連続的な位相応答を提供する。
6種類の音響クラスを持つ10km感光ファイバーを用いた実験により, 両分岐融合モデルが最も良好なトレードオフが得られた。
論文 参考訳（メタデータ） (2026-06-04T06:29:25Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - SPARK-IL: Spectral Retrieval-Augmented RAG for Knowledge-driven Deepfake Detection via Incremental Learning [6.901244434385347]
SPARK-ILは、二重パススペクトル分析と漸進学習を組み合わせた検索拡張フレームワークである。
UniversalFakeDetectベンチマークで、19の生成モデルで評価された。
論文 参考訳（メタデータ） (2026-04-04T19:19:33Z) - StructSAM: Structure- and Spectrum-Preserving Token Merging for Segment Anything Models [57.674757786328236]
StructSAMは、Segment Anything Model(SAM)に適した解像度保存型マージアンマージフレームワークである
また,StructSAMはエンコーダFLOPsを25～30%削減し,mIoU/Diceに少量の低下を認めた。
また、スペクトルグラフ粗大化ビューでは、スコア誘導マージにより、ランダムまたはウィンドウ制限ベースラインと比較して、ラプラシアスペクトル歪みが有界となることを示す。
論文 参考訳（メタデータ） (2026-03-07T18:30:58Z) - PANC: Prior-Aware Normalized Cut for Object Segmentation [0.0]
本稿では,最小限の注釈付き視覚トークンを用いた弱教師付きスペクトルセグメンテーションフレームワークを提案する。
均質, 細粒, テクスチャ制限ドメインについて, 強い結果を報告した。
マルチオブジェクトベンチマークでは、明示的でユーザ制御可能なセマンティックセマンティックセグメンテーションが紹介されている。
論文 参考訳（メタデータ） (2026-02-06T18:07:20Z) - FASA: Frequency-aware Sparse Attention [56.26881872333624]
本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。
我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。
長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
論文 参考訳（メタデータ） (2026-02-03T06:09:06Z) - Attention-based Generative Latent Replay: A Continual Learning Approach for WSI Analysis [3.6630930118966814]
全体スライド画像(WSI)分類は、計算病理学において強力なツールとして登場したが、ドメインシフトによって制約されている。
本稿では,Attention-based Generative Latent Replay Continual Learning framework (AGLR-CL) を提案する。
論文 参考訳（メタデータ） (2025-05-13T12:55:46Z) - SpaRG: Sparsely Reconstructed Graphs for Generalizable fMRI Analysis [8.489318619991534]
深層学習は、精神疾患や個人の特徴に関連する静止状態機能型磁気共鳴イメージング(rsfMRI)のパターンを明らかにするのに役立つ。
しかし、深層学習の発見を解釈する問題は、fMRIによる分析よりも明らかではない。
スパーシフィケーションと自己超越に基づくこれらの課題を緩和するための簡単なアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-24T18:35:57Z) - SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention [53.4441894198495]
大きな言語モデル(LLM)は、非常に長いコンテキストウィンドウをサポートするようになった。
バニラの注意の二次的な複雑さは、TTFT(Time-to-First-Token)レイテンシを著しく長くする。
適応型構造とほぼロスレスなスパースアテンションであるSampleAttentionを提案する。
論文 参考訳（メタデータ） (2024-06-17T11:05:15Z) - Suppressing Mislabeled Data via Grouping and Self-Attention [60.14212694011875]
ディープネットワークは大規模クリーンなデータに対して優れた結果を得るが、ノイズのあるラベルから学習すると著しく劣化する。
本稿では,概念的にシンプルだが効率的な学習ブロックを提案し,これをAFM(Attentive Feature Mixup)と呼ぶ。
クリーンなサンプルにもっと注意を払うことができ、小さなグループでのサンプルインタラクションを通じて、ラベルを間違えることが少なくなります。
論文 参考訳（メタデータ） (2020-10-29T13:54:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。