論文の概要: Validation-Free Sparse Learning: A Phase Transition Approach to Feature Selection

• arxiv url: http://arxiv.org/abs/2411.17180v4
• Date: Sat, 20 Sep 2025 07:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:44.573455
• Title: Validation-Free Sparse Learning: A Phase Transition Approach to Feature Selection
• Title（参考訳）: 検証自由スパース学習:特徴選択のための相転移アプローチ
• Authors: Sylvain Sardy, Maxime van Cutsem, Xiaoyu Ma,
• Abstract要約: スパースモデルの関連する特徴を検索する確率の位相遷移を得る方法を示す。 われわれのアプローチは柔軟で、線形から浅層、深層まで、複雑なモデルに適用できる。 現実世界のデータでは、予測精度と特徴空間のバランスが良い。
• 参考スコア（独自算出の注目度）: 6.048142643468064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing environmental footprint of artificial intelligence (AI), especially in terms of storage and computation, calls for more frugal and interpretable models. Sparse models (e.g., linear, neural networks) offer a promising solution by selecting only the most relevant features, reducing complexity, preventing over-fitting and enabling interpretation-marking a step towards truly intelligent AI. The concept of a right amount of sparsity (without too many false positive or too few true positive) is subjective. So we propose a new paradigm previously only observed and mathematically studied for compressed sensing (noiseless linear models): obtaining a phase transition in the probability of retrieving the relevant features. We show in practice how to obtain this phase transition for a class of sparse learners. Our approach is flexible and applicable to complex models ranging from linear to shallow and deep artificial neural networks while supporting various loss functions and sparsity-promoting penalties. It does not rely on cross-validation or on a validation set to select its single regularization parameter. For real-world data, it provides a good balance between predictive accuracy and feature sparsity. A Python package is available at https://github.com/VcMaxouuu/HarderLASSO containing all the simulations and ready-to-use models.
• Abstract（参考訳）: 人工知能(AI)の環境フットプリントの増大、特にストレージと計算の面では、より粗野で解釈可能なモデルを求めている。 スパースモデル(リニア、ニューラルネットワークなど)は、最も関連性の高い機能のみを選択し、複雑さを減らし、過度な適合を防止し、解釈マーキングを真にインテリジェントなAIへのステップにすることで、有望なソリューションを提供する。 適切な量の空間性の概念(偽陽性が多すぎるか、真陽性が少なすぎるか)は主観的である。 そこで本稿では, 圧縮センシング(ノイズのない線形モデル)のために, 従来観測され, 数学的に研究されていた新しいパラダイムを提案する。 スパース学習者のクラスに対して,この相転移を実際に得る方法を示す。 我々のアプローチは柔軟で、線形から浅層、深部まで複雑なニューラルネットワークのモデルに適用可能であり、様々な損失関数と疎性促進ペナルティをサポートしている。 クロスバリデーションや、単一の正規化パラメータを選択するための検証セットに依存しない。 現実世界のデータでは、予測精度と特徴空間のバランスが良い。 Pythonパッケージは、すべてのシミュレーションと使えるモデルを含むhttps://github.com/VcMaxouuu/HarderLASSOで入手できる。

関連論文リスト

• Neural Parameter Estimation with Incomplete Data [0.0]
  さまざまな理由で不完全なデータを持つニューラルネットワークを使用するのは簡単ではない。 この問題を解決するために最近提案されたアプローチでは、適切なパッド付きデータベクトルと、欠損パターンを符号化したベクトルをニューラルネットワークに入力する。 本稿ではモンテカルロ予想最大化(EM)アルゴリズムに基づく代替手法を提案する。
  論文  参考訳（メタデータ） (2025-01-08T08:05:17Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
  ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。 低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-01T13:47:09Z)
• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
  本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。 実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
  論文  参考訳（メタデータ） (2023-02-02T05:00:29Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Neural Greedy Pursuit for Feature Selection [72.4121881681861]
  我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。 ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
  論文  参考訳（メタデータ） (2022-07-19T16:39:16Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Accelerating Understanding of Scientific Experiments with End to End Symbolic Regression [12.008215939224382]
  生データから自由形記号表現を学習する問題に対処するディープニューラルネットワークを開発した。 ニューラルネットワークを、長さの異なるデータテーブルとノイズのレベルからなる合成データセットでトレーニングする。 行動科学の公開データセット上で動作させることで、我々の技術を検証する。
  論文  参考訳（メタデータ） (2021-12-07T22:28:53Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Embedded methods for feature selection in neural networks [0.0]
  ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。 パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。 PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
  論文  参考訳（メタデータ） (2020-10-12T16:33:46Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Binary Stochastic Filtering: feature selection and beyond [0.0]
  この研究は、スパシティ正規化の使用方法を再考することによって、機能を自動的に選択する機能を備えたニューラルネットワークの拡張を目指している。 提案手法は,計算オーバーヘッドを最小あるいはゼロに抑えた古典的手法と比較して,優れた効率性を示した。
  論文  参考訳（メタデータ） (2020-07-08T06:57:10Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• What needles do sparse neural networks find in nonlinear haystacks [0.0]
  人工ニューラルネットワーク(ANN)におけるスパーシリティ誘導ペナルティは、特にノイズが高く、トレーニングセットが小さい状況において、過度な適合を避ける。 線形モデルの場合、そのようなアプローチは、適切なコセンのペナルティパラメータに対するレギュレーションにおいて高い確率で重要な特徴を確実に回復する。 簡単なモデルを用いてモンテカルロシミュレーションを行い,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2020-06-07T04:46:55Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。