論文の概要: FLaG: Frequency-Domain Latent-attention Gated Pooling for Token Aggregation

• arxiv url: http://arxiv.org/abs/2609.00831v1
• Date: Tue, 01 Sep 2026 07:32:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.43314
• Title: FLaG: Frequency-Domain Latent-attention Gated Pooling for Token Aggregation
• Title（参考訳）: FLaG:Token Aggregationのための周波数依存性遅延保持型ゲートポーリング
• Authors: Kewei Li, Rongying Zhang, Xueli Wang, Xiwen Gong, Zhongjian Wang, Qiuchen Zhao, Lan Huang, Ruochi Zhang, Fengfeng Zhou,
• Abstract要約: トークンレベルの表現を固定次元のサンプル表現に変換するが、ほとんどのプール法は元のトークン空間でのみ動作する。 最終プーリング前にエンコーダ出力を再表現するプラグインアグリゲーションモジュールであるFLaG(Flequency-Domain Latent-attention Gated Pooling)を導入する。 FLaGは実数成分と虚数成分を通して非冗長なrFFTスペクトルを表現し、学習可能な遅延クエリでスペクトルトークンを要約し、サンプル条件付きゲートを導出し、下流アグリゲーションのために変調されたトークン表現を再構成する。
• 参考スコア（独自算出の注目度）: 6.298319903082888
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Token aggregation converts token-level representations into fixed-dimensional sample representations, but most pooling methods operate only in the original token space. We introduce Frequency-Domain Latent-attention Gated Pooling (FLaG), a plug-in aggregation module that re-expresses encoder outputs in the Fourier domain before final pooling. FLaG represents the nonredundant rFFT spectrum through concatenated real and imaginary components, summarizes spectral tokens with learnable latent queries, derives a sample-conditioned channel gate, and reconstructs modulated token representations for downstream aggregation. We evaluate the same architecture across ESM2-based antimicrobial peptide (AMP) activity prediction, ResNet18 image classification on CIFAR-10 and CIFAR-100, and three RoBERTa-based language tasks. FLaG achieves the best macro-averaged Spearman correlation coefficient, RMSE, and Recall@50 across four AMP backbone-species settings and the highest top-1 accuracy on CIFAR 10. It also achieves the best mean results on five of seven language metrics, although mean pooling remains strongest on STSBenchmark. AMP-side mechanistic analyses reveal low-frequency prediction sensitivity across most encoder layers, with increased relative high-frequency sensitivity in the final layer, and pronounced peptide-specific positional responses. The residual gate broadly amplifies spectral channels while preserving the low-frequency-dominated energy profile, whereas latent cross-attention exhibits sample- and species-specific spectral allocation. Overall, FLaG provides a transferable frequency-domain aggregation bias across protein, visual, and textual representations, with benefits that depend on the backbone and downstream task. Supplementary materials, source code, and data are available at https://www.healthinformaticslab.org/supp/ and https://github.com/Kewei2023/AMPCliff/tree/FLaG.
• Abstract（参考訳）: トークンレベルの表現を固定次元のサンプル表現に変換するが、ほとんどのプール法は元のトークン空間でのみ動作する。 本稿では,FlaG(Fluency-Domain Latent-attention Gated Pooling)というプラグインアグリゲーションモジュールを紹介し,最終プーリングの前にFourierドメインのエンコーダ出力を再表現する。 FLaGは実数成分と虚数成分を連結して非冗長なrFFTスペクトルを表現し、スペクトルトークンを学習可能な遅延クエリで要約し、サンプル条件のチャネルゲートを導出し、下流アグリゲーションのために変調されたトークン表現を再構成する。 ESM2をベースとした抗微生物ペプチド(AMP)活性予測,CIFAR-10とCIFAR-100のResNet18画像分類,RoBERTaをベースとした3つの言語タスクにおける同一アーキテクチャの評価を行った。 FLaGは、4つのAMPバックボーン種別設定とCIFAR 10における最高1の精度で、マクロ平均スピアマン相関係数、RMSE、Recall@50を達成している。 また、7つの言語メトリクスのうち5つで最高の平均結果を得られるが、平均プールはSTSBenchmarkで最強である。 AMP側メカニスティック解析により、ほとんどのエンコーダ層で低周波予測感度が示され、最終層では相対的な高周波感度が増加し、ペプチド特異的な位置応答が顕著になった。 残留ゲートは低周波支配エネルギープロファイルを保ちながらスペクトルチャネルを広く増幅する一方、潜伏断面積はサンプル比と種比のスペクトル割り当てを示す。 全体として、FLaGは、タンパク質、視覚、およびテキスト表現にまたがる伝達可能な周波数領域の凝集バイアスを提供し、バックボーンと下流タスクに依存する利点を提供する。 追加資料、ソースコード、データはhttps://www.healthinformaticslab.org/supp/とhttps://github.com/Kewei2023/AMPCliff/tree/FLaGで入手できる。

関連論文リスト

• SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity [57.84199526590779]
  フェデレートラーニング(FL)は、非ID分散(非IID)データがクライアントのドリフトを誘導し、グローバルな収束を阻害する統計的不均一性によって根本的に挑戦される。 本研究では,新しい周波数領域の観点からクライアントのドリフトを再考し,Drift のスペクトルバイアスを明らかにする。 そこで本研究では,低周波信号の不一致を抑えることで不均一性を解消するスペクトルフィルタリンググラディエント・フレームワークであるSpecGradFilterを提案する。
  論文  参考訳（メタデータ） (2026-07-05T09:23:35Z)
• Frequency-Domain Latent Attention Gating for Cross-Domain Token Aggregation [6.535173782861673]
  トークンアグリゲーションは、トークン表現をサンプルレベルの予測にマッピングするモデルにおいて一般的なボトルネックである。 実FFTでトークン表現を変換するプラグインアグリゲーションモジュールFLaGを提案する。 ESM2による抗微生物ペプチド(AMP)活性予測のFLaG,ResNet18による画像分類,RoBERTaによるテキスト分類について検討した。
  論文  参考訳（メタデータ） (2026-06-06T14:21:55Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• SPARK-IL: Spectral Retrieval-Augmented RAG for Knowledge-driven Deepfake Detection via Incremental Learning [6.901244434385347]
  SPARK-ILは、二重パススペクトル分析と漸進学習を組み合わせた検索拡張フレームワークである。 UniversalFakeDetectベンチマークで、19の生成モデルで評価された。
  論文  参考訳（メタデータ） (2026-04-04T19:19:33Z)
• WaveMAE: Wavelet decomposition Masked Auto-Encoder for Remote Sensing [5.65492058135409]
  WaveMAEはマルチスペクトル衛星画像に適したマスク付き自動符号化フレームワークである。 評価の公平性を確保するため、全ての手法が同じデータセット上で事前訓練される(fMoW-S2)。 WaveMAEは従来の最先端アプローチよりも一貫した改善を実現している。
  論文  参考訳（メタデータ） (2025-10-26T14:45:30Z)
• WaveSeg: Enhancing Segmentation Precision via High-Frequency Prior and Mamba-Driven Spectrum Decomposition [61.3530659856013]
  本稿では,空間およびウェーブレット領域の機能改善を共同で最適化する新しいデコーダアーキテクチャであるWaveSegを提案する。 高周波成分は、まず入力画像から、境界の詳細を強化するために明示的な先行として学習される。 標準ベンチマークの実験では、Mambaベースの注目に先立ってウェーブレット-ドメイン周波数を利用するWaveSegが、常に最先端のアプローチより優れていることが示されている。
  論文  参考訳（メタデータ） (2025-10-24T01:41:31Z)
• Frequency Domain Enhanced U-Net for Low-Frequency Information-Rich Image Segmentation in Surgical and Deep-Sea Exploration Robots [34.28684917337352]
  CNNと人間の視覚系における周波数帯域感度の差について検討する。 本稿では、生体視覚機構にインスパイアされたウェーブレット適応スペクトル融合(WASF)法を提案する。 我々は SAM2 のバックボーンネットワークを利用する FE-UNet モデルを開発し, セグメンテーション精度を確保するために細調整した Hiera-Large モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2025-02-06T07:24:34Z)
• S-Diff: An Anisotropic Diffusion Model for Collaborative Filtering in Spectral Domain [23.22881271027173]
  グラフに基づく協調フィルタリングにインスパイアされたS-Diffを提案する。 S-Diffは、ユーザの相互作用ベクトルをスペクトル領域にマッピングし、拡散ノイズをパラメータ化してグラフ周波数に合わせる。 この異方性拡散は重要な低周波成分を保持し、高い信号対雑音比を保持する。
  論文  参考訳（メタデータ） (2024-12-31T10:54:41Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。