論文の概要: SLM: End-to-end Feature Selection via Sparse Learnable Masks
- arxiv url: http://arxiv.org/abs/2304.03202v1
- Date: Thu, 6 Apr 2023 16:25:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 13:22:58.120598
- Title: SLM: End-to-end Feature Selection via Sparse Learnable Masks
- Title(参考訳): SLM: Sparse Learnable Masksによるエンドツーエンド機能選択
- Authors: Yihe Dong, Sercan O. Arik
- Abstract要約: 本稿では,特徴量とサンプル数の両方に関して,エンドツーエンドの特徴選択のための標準的アプローチを提案する。
SLMの中心には、シンプルだが効果的に学習可能なスパースマスクがあり、どの機能を選択するかを学ぶ。
我々は、SLMが選択した特徴数を正確に制御できるスケーリングメカニズムを導出する。
- 参考スコア(独自算出の注目度): 12.081877372552606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature selection has been widely used to alleviate compute requirements
during training, elucidate model interpretability, and improve model
generalizability. We propose SLM -- Sparse Learnable Masks -- a canonical
approach for end-to-end feature selection that scales well with respect to both
the feature dimension and the number of samples. At the heart of SLM lies a
simple but effective learnable sparse mask, which learns which features to
select, and gives rise to a novel objective that provably maximizes the mutual
information (MI) between the selected features and the labels, which can be
derived from a quadratic relaxation of mutual information from first
principles. In addition, we derive a scaling mechanism that allows SLM to
precisely control the number of features selected, through a novel use of
sparsemax. This allows for more effective learning as demonstrated in ablation
studies. Empirically, SLM achieves state-of-the-art results against a variety
of competitive baselines on eight benchmark datasets, often by a significant
margin, especially on those with real-world challenges such as class imbalance.
- Abstract(参考訳): 特徴選択は、トレーニング中の計算要求の緩和、モデルの解釈可能性の解明、モデルの一般化性の向上に広く用いられている。
我々はslm -- sparse learnable masks -- 機能次元とサンプル数の両方に関してうまくスケールするエンドツーエンドの機能選択の標準的アプローチを提案する。
SLMの中心には、単純だが効果的に学習可能なスパースマスクがあり、どの特徴を選択するかを学び、選択された特徴とラベルの間の相互情報(MI)を有効に最大化する新しい目的を生み出し、第一原理から相互情報の二次緩和から導出することができる。
さらに,スパースマックスの新たな利用により,SLMが選択した特徴量を正確に制御できるスケーリング機構を導出する。
これにより、アブレーション研究で示されるように、より効果的な学習が可能になる。
経験的に、SLMは8つのベンチマークデータセットの様々な競争基準に対して、特にクラス不均衡のような現実世界の課題に対して、大きな差で、最先端の結果を達成する。
関連論文リスト
- Binary Feature Mask Optimization for Feature Selection [0.0]
本稿では,モデルの予測を考慮した特徴選択を行う新しいフレームワークを提案する。
我々のフレームワークは、選択過程における特徴を排除するために、新しい特徴マスキングアプローチを用いて革新する。
機械学習モデルとしてLightGBMとMulti-Layer Perceptronを用いた実生活データセットの性能改善を示す。
論文 参考訳(メタデータ) (2024-01-23T10:54:13Z) - AFS-BM: Enhancing Model Performance through Adaptive Feature Selection
with Binary Masking [0.0]
連立マスキングによる適応的特徴選択(AFS-BM)について紹介する
トレーニングプロセス中に特徴セットとモデルパラメータを継続的に適応するために、共同最適化とバイナリマスキングを実施します。
以上の結果から,AFS-BMの精度は大幅に向上し,計算量も大幅に削減された。
論文 参考訳(メタデータ) (2024-01-20T15:09:41Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳(メタデータ) (2024-01-18T08:12:23Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - Learning to Maximize Mutual Information for Dynamic Feature Selection [13.821253491768168]
本稿では,現在利用可能な情報に基づいてモデルを逐次クエリする動的特徴選択(DFS)問題を考察する。
条件付き相互情報に基づいて,特徴を欲求的に選択する,よりシンプルなアプローチについて検討する。
提案手法は,最適性を訓練した際の欲求を回復し,既存の特徴選択法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-01-02T08:31:56Z) - Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。
我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
論文 参考訳(メタデータ) (2022-11-23T07:04:41Z) - Learning summary features of time series for likelihood free inference [93.08098361687722]
時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。
以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
論文 参考訳(メタデータ) (2020-12-04T19:21:37Z) - Multi-scale Adaptive Task Attention Network for Few-Shot Learning [5.861206243996454]
少数ショット学習の目標は、ラベル付きサンプルの少ない未確認カテゴリを分類することである。
本稿では,マルチスケール適応タスク注意ネットワーク(MATANet)を提案する。
論文 参考訳(メタデータ) (2020-11-30T00:36:01Z) - Feature Selection Using Batch-Wise Attenuation and Feature Mask
Normalization [6.6357750579293935]
本稿では,新しいバッチ単位の減衰と特徴マスク正規化に基づく特徴選択のための特徴マスクモジュール(FM-モジュール)を提案する。
一般的な画像,テキスト,音声のデータセットを用いた実験により,我々のアプローチは使いやすく,最先端のディープラーニングに基づく特徴選択手法と比較して優れた性能を示した。
論文 参考訳(メタデータ) (2020-10-26T14:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。