Fugu-MT 論文翻訳(概要): LassoLayer: Nonlinear Feature Selection by Switching One-to-one Links

論文の概要: LassoLayer: Nonlinear Feature Selection by Switching One-to-one Links

arxiv url: http://arxiv.org/abs/2108.12165v1
Date: Fri, 27 Aug 2021 08:16:40 GMT
ステータス: 処理完了
システム内更新日: 2021-08-30 14:22:44.092298
Title: LassoLayer: Nonlinear Feature Selection by Switching One-to-one Links
Title（参考訳）: LassoLayer: 1対1リンク切り替えによる非線形特徴選択
Authors: Akihito Sudo, Teng Teck Hou, Masaki Yamaguchi, Yoshinori Tone
Abstract要約: L1最適化により1対1の接続とトレーニングを行うLassoLayerを提案する。非線形特徴選択には、LassoMLP(LassoLayerを第一層とするネットワーク)を構築する。我々は,レグレッションと分類タスクによる特徴選択におけるLassoMLPの評価を行った。
参考スコア（独自算出の注目度）: 0.043012765978447554
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Along with the desire to address more complex problems, feature selection methods have gained in importance. Feature selection methods can be classified into wrapper method, filter method, and embedded method. Being a powerful embedded feature selection method, Lasso has attracted the attention of many researchers. However, as a linear approach, the applicability of Lasso has been limited. In this work, we propose LassoLayer that is one-to-one connected and trained by L1 optimization, which work to drop out unnecessary units for prediction. For nonlinear feature selections, we build LassoMLP: the network equipped with LassoLayer as its first layer. Because we can insert LassoLayer in any network structure, it can harness the strength of neural network suitable for tasks where feature selection is needed. We evaluate LassoMLP in feature selection with regression and classification tasks. LassoMLP receives features including considerable numbers of noisy factors that is harmful for overfitting. In the experiments using MNIST dataset, we confirm that LassoMLP outperforms the state-of-the-art method.
Abstract（参考訳）: より複雑な問題に対処したいという願望に加えて、機能選択方法の重要性も高まっている。特徴選択方法はラッパー法、フィルタ法、埋め込み法に分類することができる。ラッソは強力な組込み特徴選択法であり、多くの研究者の注目を集めている。しかし、線形アプローチとして、ラッソの適用性は制限されている。本研究では,L1最適化により1対1の接続とトレーニングを行うLassoLayerを提案する。非線形特徴選択には、LassoMLP(LassoLayerを第一層とするネットワーク)を構築する。どんなネットワーク構造にもLassoLayerを挿入できるので、機能選択が必要なタスクに適したニューラルネットワークの強度を利用することができます。我々は,レグレッションと分類タスクによる特徴選択においてLassoMLPを評価する。 LassoMLPは、過剰適合に有害なかなりのノイズ要因を含む特徴を受信する。 MNISTデータセットを用いた実験では,LassoMLPが最先端の手法より優れていることを確認した。

関連論文リスト

FinerCut: Finer-grained Interpretable Layer Pruning for Large Language Models [54.787308652357794]
FinerCutは変圧器ネットワークのための微細な層プルーニングの新たな形式である。 Llama3-8Bは25%の層を除去し,Llama3-70Bは95%の層を除去した。
論文参考訳（メタデータ） (2024-05-28T14:21:15Z)
Knockoff-Guided Feature Selection via A Single Pre-trained Reinforced Agent [44.84307718534031]
ノックオフ機能によってガイドされる特徴選択のための革新的なフレームワークを導入し、強化学習により最適化する。探索プロセスの有効性を向上させるために,原特徴とそれに対応する擬似ラベルを事前訓練した深部Qネットワークが用いられている。新しいepsilon-greedy戦略を使用して、擬似ラベルからの洞察を取り入れて、特徴選択プロセスをより効果的にする。
論文参考訳（メタデータ） (2024-03-06T19:58:19Z)
A Survey of Numerical Algorithms that can Solve the Lasso Problems [2.538209532048867]
統計学において、最小絶対収縮・選択演算子 (Lasso) は、変分選択と正則化の両方を実行する回帰法である。ラッソにおける目的関数を最適化する5つの代表アルゴリズムを要約する。
論文参考訳（メタデータ） (2023-03-07T01:12:59Z)
Adaptive Group Lasso Neural Network Models for Functions of Few Variables and Time-Dependent Data [4.18804572788063]
対象関数をディープニューラルネットワークで近似し、適切な隠れ層の重みに適応したグループLassoを強制する。実験により,提案手法はスパース辞書行列法を含む最近の最先端手法よりも優れていることが示された。
論文参考訳（メタデータ） (2021-08-24T16:16:46Z)
RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition [123.59890802196797]
画像認識のための多層パーセプトロン型ニューラルネットワーク構築ブロックであるRepMLPを提案する。トレーニング中にRepMLP内に畳み込み層を構築し,それをFCにマージして推論を行う。従来のCNNにRepMLPを挿入することで、ImageNetでは1.8%の精度、顔認識では2.9%、FLOPの低いCityscapeでは2.3%のmIoUを改善します。
論文参考訳（メタデータ） (2021-05-05T06:17:40Z)
Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
論文参考訳（メタデータ） (2020-11-08T16:48:02Z)
On the Adversarial Robustness of LASSO Based Feature Selection [72.54211869067979]
検討されたモデルでは、悪意のある敵がデータセット全体を観察し、レスポンス値やフィーチャーマトリックスを慎重に修正する。両レベルの最適化問題として、敵の修正戦略を定式化する。合成および実データを用いた数値的な例は,本手法が効率的かつ効果的であることを示している。
論文参考訳（メタデータ） (2020-10-20T05:51:26Z)
Embedded methods for feature selection in neural networks [0.0]
ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。 PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
論文参考訳（メタデータ） (2020-10-12T16:33:46Z)
Parametric Programming Approach for More Powerful and General Lasso Selective Inference [25.02674598600182]
選択推論(Selective Inference, SI)は, 線形モデルの特徴を推論するためにここ数年, 活発に研究されてきた。 Lasso のオリジナルの SI アプローチの主な制限は、推論が選択された特徴だけでなく、その兆候にも条件付きで行われることである。何千ものアクティブな特徴がある場合でも,サインを条件付けせずにSIを実行できるパラメトリックプログラミングベースの手法を提案する。
論文参考訳（メタデータ） (2020-04-21T04:46:29Z)
OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-04-20T02:41:01Z)
AlignSeg: Feature-Aligned Segmentation Networks [109.94809725745499]
本稿では,機能集約プロセスにおける誤アライメント問題に対処するために,特徴適応型ネットワーク(AlignSeg)を提案する。我々のネットワークは、それぞれ82.6%と45.95%という新しい最先端のmIoUスコアを達成している。
論文参考訳（メタデータ） (2020-02-24T10:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。