論文の概要: GFSNetwork: Differentiable Feature Selection via Gumbel-Sigmoid Relaxation

• arxiv url: http://arxiv.org/abs/2503.13304v1
• Date: Mon, 17 Mar 2025 15:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:18.531753
• Title: GFSNetwork: Differentiable Feature Selection via Gumbel-Sigmoid Relaxation
• Title（参考訳）: GFSNetwork: Gumbel-Sigmoid 緩和による特徴選択
• Authors: Witold Wydmański, Marek Śmieja,
• Abstract要約: GFSNetworkは,Gumbel-Sigmoid サンプリングによる特徴選択を行うニューラルアーキテクチャである。 我々はGFSNetworkを一連の分類と回帰のベンチマークで評価し、最近の手法を一貫して上回っている。 実世界のメダゲノミクスデータセットに対する我々のアプローチを検証し,その実次元生物学的データの有効性を実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Feature selection in deep learning remains a critical challenge, particularly for high-dimensional tabular data where interpretability and computational efficiency are paramount. We present GFSNetwork, a novel neural architecture that performs differentiable feature selection through temperature-controlled Gumbel-Sigmoid sampling. Unlike traditional methods, where the user has to define the requested number of features, GFSNetwork selects it automatically during an end-to-end process. Moreover, GFSNetwork maintains constant computational overhead regardless of the number of input features. We evaluate GFSNetwork on a series of classification and regression benchmarks, where it consistently outperforms recent methods including DeepLasso, attention maps, as well as traditional feature selectors, while using significantly fewer features. Furthermore, we validate our approach on real-world metagenomic datasets, demonstrating its effectiveness in high-dimensional biological data. Concluding, our method provides a scalable solution that bridges the gap between neural network flexibility and traditional feature selection interpretability. We share our python implementation of GFSNetwork at https://github.com/wwydmanski/GFSNetwork, as well as a PyPi package (gfs_network).
• Abstract（参考訳）: ディープラーニングにおける特徴選択は、特に解釈可能性と計算効率が最重要である高次元表データにとって、依然として重要な課題である。 GFSNetworkは温度制御型Gumbel-Sigmoidサンプリングによる特徴選択を行うニューラルアーキテクチャである。 要求された機能の数をユーザが定義しなければならない従来のメソッドとは異なり、GFSNetworkはエンドツーエンドプロセス中に自動的にそれを選択します。 さらに、GFSNetworkは入力機能の数に関係なく、一定の計算オーバーヘッドを維持している。 我々は、GFSNetworkを一連の分類および回帰ベンチマークで評価し、DeepLasso、アテンションマップ、従来の特徴セレクタなど、最近の手法よりもはるかに少ない機能を使用しながら、一貫して性能を向上する。 さらに,実世界のメダゲノミクスデータセットに対するアプローチを検証し,高次元生物学的データにおけるその有効性を実証した。 結論として、ニューラルネットワークの柔軟性と従来の特徴選択の解釈可能性とのギャップを埋めるスケーラブルなソリューションを提供する。 GFSNetworkのpython実装はhttps://github.com/wwydmanski/GFSNetworkで公開しています。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
  グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。 本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:04:23Z)
• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
  グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。 集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。 提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-11-12T14:53:22Z)
• A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning [23.83339228535986]
  さまざまなタイプの問題に対処するために、さまざまなタイプのニューラルネットワークが導入されている。 ニューラルネットワークの主な目標は、非線形分離可能な入力データをより線形分離可能な抽象的特徴に変換することである。 最もポピュラーで一般的な非線形層は、ロジスティックシグモド、タン、ReLU、ELU、Swish、Mishなどのアクティベーション関数(AF)である。
  論文  参考訳（メタデータ） (2021-09-29T16:41:19Z)
• SALA: Soft Assignment Local Aggregation for Parameter Efficient 3D Semantic Segmentation [65.96170587706148]
  3dポイントクラウドセマンティクスセグメンテーションのためのパラメータ効率の良いネットワークを生成するポイントローカルアグリゲーション関数の設計に着目する。 グリッド型アグリゲーション関数における学習可能な隣り合わせソフトアロケーションの利用について検討する。
  論文  参考訳（メタデータ） (2020-12-29T20:16:37Z)
• Feature Selection Based on Sparse Neural Network Layer with Normalizing Constraints [0.0]
  本論文では,2つの制約を導入したニューラルネットワークに基づく特徴選択手法を提案する。 その結果,Sparse Neural Network Layer with Normalizing Constraints (SNEL-FS) に基づく特徴選択は,従来の FS 方式に比べて重要な特徴の選択が可能であり,優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-12-11T14:14:33Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。