論文の概要: SAND: One-Shot Feature Selection with Additive Noise Distortion
- arxiv url: http://arxiv.org/abs/2505.03923v2
- Date: Fri, 15 Aug 2025 11:41:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.360886
- Title: SAND: One-Shot Feature Selection with Additive Noise Distortion
- Title（参考訳）: SAND:付加雑音歪みのあるワンショット特徴選択
- Authors: Pedram Pad, Hadi Hammoud, Mohamad Dia, Nadim Maamari, L. Andrea Dunbar,
- Abstract要約: 我々は、ニューラルネットワークトレーニング中に最も有用な機能を自動的に識別し、選択する新しい非侵入的特徴選択層を導入する。
本手法は,損失関数,ネットワークアーキテクチャ,選択後再学習などの変更を要さず,一意に単純である。
私たちの研究は、単純さとパフォーマンスが相互に排他的ではなく、機械学習における機能選択の強力な、かつ直接的なツールであることを示している。
- 参考スコア（独自算出の注目度）: 3.5976830118932583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature selection is a critical step in data-driven applications, reducing input dimensionality to enhance learning accuracy, computational efficiency, and interpretability. Existing state-of-the-art methods often require post-selection retraining and extensive hyperparameter tuning, complicating their adoption. We introduce a novel, non-intrusive feature selection layer that, given a target feature count $k$, automatically identifies and selects the $k$ most informative features during neural network training. Our method is uniquely simple, requiring no alterations to the loss function, network architecture, or post-selection retraining. The layer is mathematically elegant and can be fully described by: \begin{align} \nonumber \tilde{x}_i = a_i x_i + (1-a_i)z_i \end{align} where $x_i$ is the input feature, $\tilde{x}_i$ the output, $z_i$ a Gaussian noise, and $a_i$ trainable gain such that $\sum_i{a_i^2}=k$. This formulation induces an automatic clustering effect, driving $k$ of the $a_i$ gains to $1$ (selecting informative features) and the rest to $0$ (discarding redundant ones) via weighted noise distortion and gain normalization. Despite its extreme simplicity, our method delivers state-of-the-art performance on standard benchmark datasets and a novel real-world dataset, outperforming or matching existing approaches without requiring hyperparameter search for $k$ or retraining. Theoretical analysis in the context of linear regression further validates its efficacy. Our work demonstrates that simplicity and performance are not mutually exclusive, offering a powerful yet straightforward tool for feature selection in machine learning.
- Abstract（参考訳）: データ駆動型アプリケーションにおいて、特徴選択は重要なステップであり、学習精度、計算効率、解釈可能性を高めるために入力次元を減少させる。
既存の最先端の手法では、多くの場合、選択後の再訓練と広範なハイパーパラメータチューニングを必要とし、採用を複雑にする。
対象の機能を$k$とすることで、ニューラルネットワークトレーニング中に最も有益な機能を自動的に識別し、選択する、新しい非侵入的特徴選択層を導入します。
本手法は,損失関数,ネットワークアーキテクチャ,選択後再学習などの変更を要さず,一意に単純である。
この層は数学的にエレガントで、次のように説明できる: \begin{align} \nonumber \tilde{x}_i = a_i x_i + (1-a_i)z_i \end{align} ここで$x_i$は入力特徴、$\tilde{x}_i$は出力、$z_i$はガウス雑音、$a_i$はトレーニング可能なゲイン、$\sum_i{a_i^2}=k$。
この定式化は自動クラスタリング効果を誘導し、$a_i$の$k$の利得を$$$(情報的特徴の選択)に、残りは重み付きノイズ歪みによって$0$(冗長なものを捨てる)に誘導し、正規化を得る。
極端な単純さにもかかわらず、我々の手法は、標準ベンチマークデータセットと新しい実世界のデータセットに対して最先端のパフォーマンスを提供し、$k$のハイパーパラメータ検索や再トレーニングを必要とせず、既存のアプローチを上回り、適合させる。
線形回帰の文脈における理論的解析は、その有効性をさらに検証する。
私たちの研究は、シンプルさとパフォーマンスが相互に排他的ではなく、機械学習における機能選択の強力な、かつ直接的なツールであることを示している。
関連論文リスト
- Data Selection for ERMs [67.57726352698933]
我々は、$mathcalA$が、少なくとも$nll N$のデータポイントで訓練された時に、いかにうまく機能するかを研究する。
結果は,平均推定,線形分類,線形回帰に対する最適データ選択境界を含む。
論文 参考訳（メタデータ） (2025-04-20T11:26:01Z) - Training a neural netwok for data reduction and better generalization [7.545668088790516]
スパース学習者は、優れた一般化に必要なものだけを選択することで入力(特徴)を圧縮する。
人間の科学者は、選択された数少ない特徴にインテリジェントな解釈を与えることができる。
我々の手法は柔軟で、浅い人工ニューラルネットワークから深い人工ニューラルネットワークまで、複雑なモデルに適用できる。
論文 参考訳（メタデータ） (2024-11-26T07:41:15Z) - Pretrained transformer efficiently learns low-dimensional target functions in-context [40.77319247558742]
勾配降下により最適化された非線形変換器は、ターゲット関数の分布の次元にのみ依存するプロンプト長を持つ、$f_*$ in-contextを学習する。
本結果は,事前学習した変換器の関数クラスの低次元構造への適応性を強調し,サンプル効率の良いICLを実現する。
論文 参考訳（メタデータ） (2024-11-04T19:24:39Z) - Data-Efficient Learning via Clustering-Based Sensitivity Sampling:
Foundation Models and Beyond [28.651041302245538]
我々は$k$-meansクラスタリングとサンプリング感度に基づく新しいデータ選択手法を提案する。
線形回帰にどのように適用できるかを示すとともに,レバレッジスコアサンプリングの性能と驚くほど一致した新しいサンプリング戦略がもたらされる。
論文 参考訳（メタデータ） (2024-02-27T09:03:43Z) - Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。
iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。
我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-08-08T17:56:20Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳（メタデータ） (2022-09-07T20:10:12Z) - Neural Greedy Pursuit for Feature Selection [72.4121881681861]
我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。
ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
論文 参考訳（メタデータ） (2022-07-19T16:39:16Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳（メタデータ） (2020-08-16T11:36:11Z) - Learning nonlinear dynamical systems from a single trajectory [102.60042167341956]
我々は、$x_t+1=sigma(Thetastarx_t)+varepsilon_t$という形の非線形力学系を学ぶアルゴリズムを導入する。
最適なサンプル複雑性と線形ランニング時間を持つ単一軌道から重み行列$Thetastar$を復元するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-04-30T10:42:48Z) - $\pi$VAE: a stochastic process prior for Bayesian deep learning with
MCMC [2.4792948967354236]
先行符号化オートエンコーダ(pi$VAE)と呼ばれる新しい変分オートエンコーダを提案する。
本稿では,ガウス過程などの表現型関数クラスを正確に学習できるだけでなく,統計的推論を可能にする関数の性質も示す。
おそらく最も有用なのは、低次元分散潜在空間表現学習が、Stanのようなプログラミング言語内でプロセスの推論を行うエレガントでスケーラブルな手段を提供することを示すことである。
論文 参考訳（メタデータ） (2020-02-17T10:23:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。