論文の概要: MAFS: Multi-head Attention Feature Selection for High-Dimensional Data via Deep Fusion of Filter Methods

• arxiv url: http://arxiv.org/abs/2601.02668v1
• Date: Tue, 06 Jan 2026 02:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.778804
• Title: MAFS: Multi-head Attention Feature Selection for High-Dimensional Data via Deep Fusion of Filter Methods
• Title（参考訳）: MAFS:フィルタの深部融合による高次元データに対するマルチヘッドアテンション特徴選択
• Authors: Xiaoyan Sun, Qingyu Meng, Yalu Wen,
• Abstract要約: 高次元バイオメディカルデータには特徴選択が不可欠であり、予測性能の向上、計算コストの削減、精密医療応用における解釈可能性の向上を実現している。 本稿では,MAFS(Multi-head Attention-based Feature Selection)について紹介する。 既存のフィルターベースおよびディープラーニングベースの代替品と比較して、常に優れたカバレッジと安定性を実現し、高次元のバイオメディカルデータにおける機能選択のためのスケーラブルで解釈可能な堅牢なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 5.783250174516933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature selection is essential for high-dimensional biomedical data, enabling stronger predictive performance, reduced computational cost, and improved interpretability in precision medicine applications. Existing approaches face notable challenges. Filter methods are highly scalable but cannot capture complex relationships or eliminate redundancy. Deep learning-based approaches can model nonlinear patterns but often lack stability, interpretability, and efficiency at scale. Single-head attention improves interpretability but is limited in capturing multi-level dependencies and remains sensitive to initialization, reducing reproducibility. Most existing methods rarely combine statistical interpretability with the representational power of deep learning, particularly in ultra-high-dimensional settings. Here, we introduce MAFS (Multi-head Attention-based Feature Selection), a hybrid framework that integrates statistical priors with deep learning capabilities. MAFS begins with filter-based priors for stable initialization and guide learning. It then uses multi-head attention to examine features from multiple perspectives in parallel, capturing complex nonlinear relationships and interactions. Finally, a reordering module consolidates outputs across attention heads, resolving conflicts and minimizing information loss to generate robust and consistent feature rankings. This design combines statistical guidance with deep modeling capacity, yielding interpretable importance scores while maximizing retention of informative signals. Across simulated and real-world datasets, including cancer gene expression and Alzheimer's disease data, MAFS consistently achieves superior coverage and stability compared with existing filter-based and deep learning-based alternatives, offering a scalable, interpretable, and robust solution for feature selection in high-dimensional biomedical data.
• Abstract（参考訳）: 高次元バイオメディカルデータには特徴選択が不可欠であり、予測性能の向上、計算コストの削減、精密医療応用における解釈可能性の向上を実現している。 既存のアプローチは、注目すべき課題に直面します。 フィルタ手法は非常にスケーラブルであるが、複雑な関係を捉えたり冗長性を排除できない。 ディープラーニングベースのアプローチは非線形パターンをモデル化できるが、安定性、解釈可能性、スケールでの効率性が欠けていることが多い。 シングルヘッドアテンションは解釈可能性を改善するが、多レベル依存関係のキャプチャには制限があり、初期化に敏感であり、再現性が低下する。 既存の手法の多くは、特に超高次元の設定において、統計的解釈可能性と深層学習の表現力を組み合わせることは滅多にない。 本稿では,MAFS(Multi-head Attention-based Feature Selection)について紹介する。 MAFSは、安定した初期化とガイド学習のためのフィルタベースの事前設定から始まる。 その後、マルチヘッドで複数の視点から特徴を並列に調べ、複雑な非線形関係や相互作用を捉える。 最後に、リオーダーモジュールは、アテンションヘッド全体で出力を集約し、コンフリクトを解消し、情報損失を最小限に抑え、堅牢で一貫した特徴ランキングを生成する。 この設計は、統計的ガイダンスと深いモデリング能力を組み合わせることで、情報信号の保持を最大化しつつ、解釈可能な重要性スコアを得る。 癌遺伝子発現やアルツハイマー病データなど、シミュレーションされた実世界のデータセット全体にわたって、MAFSは、既存のフィルターベースおよびディープラーニングベースの代替品と比較して、常に優れたカバレッジと安定性を達成し、高次元のバイオメディカルデータにおける機能選択のためのスケーラブルで解釈可能な堅牢なソリューションを提供する。

関連論文リスト

• Interpretable Feature Interaction via Statistical Self-supervised Learning on Tabular Data [22.20955211690874]
  Spofeは、統計的厳密さによる明確な解釈可能性を達成するために、原則化された表現をキャプチャする、新しい自己教師型機械学習パイプラインである。 このアプローチの基盤となるのは、正確なエラー境界と厳密な偽発見率(FDR)制御を提供する、堅牢な理論フレームワークです。 さまざまな実世界のデータセットの実験は、Spotfeの有効性を実証している。
  論文  参考訳（メタデータ） (2025-03-23T12:27:42Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Learnable Sparse Customization in Heterogeneous Edge Computing [27.201987866208484]
  異種フェデレート学習(FedLPS)のための学習可能なパーソナライズ・スパシフィケーションを提案する。 FedLPSは、局所データ表現におけるモデルユニットの重要性を学び、パーソナライズされたデータ特徴を正確に抽出するために、最小限の重要度に基づくスパースパターンを導出する。 実験により、FedLPSは精度とトレーニングコストにおいてステータスクオアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-10T06:14:31Z)
• Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
  網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。 より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。 さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
  論文  参考訳（メタデータ） (2024-09-17T17:22:35Z)
• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。