論文の概要: Training a neural netwok for data reduction and better generalization
- arxiv url: http://arxiv.org/abs/2411.17180v3
- Date: Thu, 17 Apr 2025 07:02:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-18 14:34:31.352484
- Title: Training a neural netwok for data reduction and better generalization
- Title（参考訳）: データ削減とより良い一般化のためのニューラルネットウォークのトレーニング
- Authors: Sylvain Sardy, Maxime van Cutsem, Xiaoyu Ma,
- Abstract要約: スパース学習者は、優れた一般化に必要なものだけを選択することで入力(特徴)を圧縮する。
人間の科学者は、選択された数少ない特徴にインテリジェントな解釈を与えることができる。
我々の手法は柔軟で、浅い人工ニューラルネットワークから深い人工ニューラルネットワークまで、複雑なモデルに適用できる。
- 参考スコア（独自算出の注目度）: 7.545668088790516
- License:
- Abstract: At the time of environmental concerns about artificial intelligence, in particular its need for greedy storage and computation, sparsity inducing neural networks offer a promising path towards frugality and solution for less waste. Sparse learners compress the inputs (features) by selecting only the ones needed for good generalization. A human scientist can then give an intelligent interpretation to the few selected features. If genes are the inputs and cancer type is the output, then the selected genes give the cancerologist clues on what genes have an effect on certain cancers. LASSO-type regularization leads to good input selection for linear associations, but few attempts have been made for nonlinear associations modeled as an artificial neural network. A stringent but efficient way of testing whether a feature selection method works is to check if a phase transition occurs in the probability of retrieving the relevant features, as observed and mathematically studied for linear models. Our method achieves just so for artificial neural networks, and, on real data, it has the best compromise between number of selected features and generalization performance. Our method is flexible, applying to complex models ranging from shallow to deep artificial neural networks and supporting various cost functions and sparsity-promoting penalties. It does not rely on cross-validation or on a validation set to select its single regularization parameter making it user-friendly. Our approach can be seen as a form of compressed sensing for complex models, allowing to distill high-dimensional data into a compact, interpretable subset of meaningful features, just the opposite of a black box. A python package is available at https://github.com/VcMaxouuu/AnnHarderLasso containing all the simulations and ready-to-use models.
- Abstract（参考訳）: 人工知能に関する環境上の懸念、特に強欲なストレージと計算の必要性があるとき、ニューラルネットワークの疎結合化は、粗末性への道と、無駄を省くためのソリューションを提供する。
スパース学習者は、優れた一般化に必要なものだけを選択することで入力(特徴)を圧縮する。
人間の科学者は、選択された数少ない特徴にインテリジェントな解釈を与えることができる。
遺伝子が入力であり、がんタイプが出力である場合、選択された遺伝子は、がん学者に特定のがんにどんな遺伝子が影響するかの手がかりを与える。
LASSO型正規化は線形アソシエーションに対して良好な入力選択をもたらすが、人工ニューラルネットワークとしてモデル化された非線形アソシエーションに対する試みは少ない。
特徴選択法が機能するかどうかの厳密かつ効率的なテスト方法は、線形モデルで観察され数学的に研究されているように、関連する特徴を検索する確率で相転移が発生するかどうかを確認することである。
提案手法は, ニューラルネットワークに対してのみ実現し, 実データ上では, 選択した特徴数と一般化性能の最良の妥協点を有する。
我々の手法は柔軟であり、浅層から深層まで複雑なモデルに適用でき、様々なコスト関数とスパーシティー・プロモーティング・ペナルティをサポートする。
クロスバリデーションや検証セットに頼らず、単一の正規化パラメータを選択してユーザフレンドリにする。
我々のアプローチは、複雑なモデルに対する圧縮センシングの形式として見ることができ、高次元データをブラックボックスの正反対の、意味のある特徴のコンパクトで解釈可能なサブセットに蒸留することができる。
pythonパッケージはhttps://github.com/VcMaxouuu/AnnHarderLassoで公開されている。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。
本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
論文 参考訳（メタデータ） (2024-03-25T19:39:17Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-01T13:47:09Z) - Neural Greedy Pursuit for Feature Selection [72.4121881681861]
我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。
ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
論文 参考訳（メタデータ） (2022-07-19T16:39:16Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳（メタデータ） (2021-05-17T17:22:07Z) - Embedded methods for feature selection in neural networks [0.0]
ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。
パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。
PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
論文 参考訳（メタデータ） (2020-10-12T16:33:46Z) - Binary Stochastic Filtering: feature selection and beyond [0.0]
この研究は、スパシティ正規化の使用方法を再考することによって、機能を自動的に選択する機能を備えたニューラルネットワークの拡張を目指している。
提案手法は,計算オーバーヘッドを最小あるいはゼロに抑えた古典的手法と比較して,優れた効率性を示した。
論文 参考訳（メタデータ） (2020-07-08T06:57:10Z) - What needles do sparse neural networks find in nonlinear haystacks [0.0]
人工ニューラルネットワーク(ANN)におけるスパーシリティ誘導ペナルティは、特にノイズが高く、トレーニングセットが小さい状況において、過度な適合を避ける。
線形モデルの場合、そのようなアプローチは、適切なコセンのペナルティパラメータに対するレギュレーションにおいて高い確率で重要な特徴を確実に回復する。
簡単なモデルを用いてモンテカルロシミュレーションを行い,提案手法の有効性を示した。
論文 参考訳（メタデータ） (2020-06-07T04:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。