論文の概要: ABM: an automatic supervised feature engineering method for loss based
models based on group and fused lasso
- arxiv url: http://arxiv.org/abs/2009.10498v1
- Date: Tue, 22 Sep 2020 12:42:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 23:00:47.156681
- Title: ABM: an automatic supervised feature engineering method for loss based
models based on group and fused lasso
- Title(参考訳): abm:グループと融合ラッソに基づく損失ベースモデルのための自動教師付き特徴設計手法
- Authors: Weijian Luo and Yongxian Long
- Abstract要約: 分類や回帰問題の解決における重要な問題は、モデルに入力される前のデータに特徴工学と変数選択を適用することである。
本稿では,グループとラッソを融合したエンドツーエンドのカットポイント選択手法を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A vital problem in solving classification or regression problem is to apply
feature engineering and variable selection on data before fed into models.One
of a most popular feature engineering method is to discretisize continous
variable with some cutting points,which is refered to as bining processing.Good
cutting points are important for improving model's ability, because wonderful
bining may ignore some noisy variance in continous variable range and keep
useful leveled information with good ordered encodings.However, to our best
knowledge a majority of cutting point selection is done via researchers domain
knownledge or some naive methods like equal-width cutting or equal-frequency
cutting.In this paper we propose an end-to-end supervised cutting point
selection method based on group and fused lasso along with the automatically
variable selection effect.We name our method \textbf{ABM}(automatic bining
machine). We firstly cut each variable range into fine grid bins and train
model with our group and group fused lasso regularization on each successive
bins.It is a method that integrates feature engineering,variable selection and
model training simultanously.And one more inspiring thing is that the method is
flexible such that it can be taken into a bunch of loss function based model
including deep neural networks.We have also implemented the method in R and
open the source code to other researchers.A Python version will also meet the
community in days.
- Abstract(参考訳): A vital problem in solving classification or regression problem is to apply feature engineering and variable selection on data before fed into models.One of a most popular feature engineering method is to discretisize continous variable with some cutting points,which is refered to as bining processing.Good cutting points are important for improving model's ability, because wonderful bining may ignore some noisy variance in continous variable range and keep useful leveled information with good ordered encodings.However, to our best knowledge a majority of cutting point selection is done via researchers domain knownledge or some naive methods like equal-width cutting or equal-frequency cutting.In this paper we propose an end-to-end supervised cutting point selection method based on group and fused lasso along with the automatically variable selection effect.We name our method \textbf{ABM}(automatic bining machine).
We firstly cut each variable range into fine grid bins and train model with our group and group fused lasso regularization on each successive bins.It is a method that integrates feature engineering,variable selection and model training simultanously.And one more inspiring thing is that the method is flexible such that it can be taken into a bunch of loss function based model including deep neural networks.We have also implemented the method in R and open the source code to other researchers.A Python version will also meet the community in days.
関連論文リスト
- Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。
提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
論文 参考訳(メタデータ) (2024-03-06T16:31:56Z) - Merging by Matching Models in Task Subspaces [98.75848162153773]
モデルマージが方程式の線形系を解くとみなす方法が定式化される。
共役勾配法は閉形式解より優れていることを示す。
我々のフレームワークはマルチタスクモデルと中間タスクモデルの統合において最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-07T14:59:15Z) - Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized
Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。
分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文 参考訳(メタデータ) (2023-06-16T17:59:51Z) - Multi-Task Learning for Sparsity Pattern Heterogeneity: A Discrete
Optimization Approach [5.757286797214176]
最適サブセット選択を線形マルチタスク学習(MTL)に拡張する
本稿では,タスク間の情報共有を支援するMLLのモデリングフレームワークを提案する。
提案手法は,変数選択および予測精度において,他のスパースMTL法よりも優れている。
論文 参考訳(メタデータ) (2022-12-16T19:52:25Z) - Learning To Cut By Looking Ahead: Cutting Plane Selection via Imitation
Learning [80.45697245527019]
我々は、最良限の改善をもたらすカットを明示的に目指している欲求選択規則が、カット選択に対して強い決定を下すことを示す。
本研究では,頭頂部の専門家を対象とした模擬学習のための新しいニューラルアーキテクチャ(NeuralCut)を提案する。
論文 参考訳(メタデータ) (2022-06-27T16:07:27Z) - A Framework and Benchmark for Deep Batch Active Learning for Regression [2.093287944284448]
ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。
本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。
提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
論文 参考訳(メタデータ) (2022-03-17T16:11:36Z) - A concise method for feature selection via normalized frequencies [0.0]
本稿では,普遍的特徴選択のための簡潔な手法を提案する。
提案手法は, フィルタ法とラッパー法を融合して行う。
評価結果から,提案手法は,精度,精度,リコール,Fスコア,AUCの点で,いくつかの最先端技術に優れた性能を示した。
論文 参考訳(メタデータ) (2021-06-10T15:29:54Z) - Learning to Select Cuts for Efficient Mixed-Integer Programming [46.60355046375608]
複数インスタンス学習の設定において,データ駆動型で一般化可能なカット選択手法であるカットランキングを提案する。
カットランキングは、大規模MIPのための産業用解決器に展開されている。
解法の平均スピードアップ比は12.42%に達し、解の精度を損なうことなく製造された。
論文 参考訳(メタデータ) (2021-05-28T07:48:34Z) - Embedded methods for feature selection in neural networks [0.0]
ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。
パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。
PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
論文 参考訳(メタデータ) (2020-10-12T16:33:46Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳(メタデータ) (2020-01-12T09:42:19Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。