論文の概要: Model Agnostic Combination for Ensemble Learning
- arxiv url: http://arxiv.org/abs/2006.09025v1
- Date: Tue, 16 Jun 2020 09:44:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 19:18:35.960169
- Title: Model Agnostic Combination for Ensemble Learning
- Title（参考訳）: 組立学習のためのモデル非依存結合
- Authors: Ohad Silbert, Yitzhak Peleg and Evi Kopelowitz
- Abstract要約: 本稿では,モデルを組み合わせるための最適関数を見つけるために,MACという新しいアンサンブル手法を提案する。
サブモデルの数に依存しないため、デプロイ後もサブモデルの追加と置き換えが可能である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensemble of models is well known to improve single model performance. We
present a novel ensembling technique coined MAC that is designed to find the
optimal function for combining models while remaining invariant to the number
of sub-models involved in the combination. Being agnostic to the number of
sub-models enables addition and replacement of sub-models to the combination
even after deployment, unlike many of the current methods for ensembling such
as stacking, boosting, mixture of experts and super learners that lock the
models used for combination during training and therefore need retraining
whenever a new model is introduced into the ensemble. We show that on the
Kaggle RSNA Intracranial Hemorrhage Detection challenge, MAC outperforms
classical average methods, demonstrates competitive results to boosting via
XGBoost for a fixed number of sub-models, and outperforms it when adding
sub-models to the combination without retraining.
- Abstract（参考訳）: モデルの組み立てはシングルモデルのパフォーマンスを改善することでよく知られている。
本稿では,この組み合わせに関係するサブモデルの数に不変性を保ちながら,モデルを組み合わせるための最適関数を求めるために,MACという新しいアンサンブル手法を提案する。
サブモデルの数に依存せず、デプロイ後もサブモデルの追加と置き換えが可能で、スタッキング、ブースティング、エキスパートとスーパーラーナーの混合といった、トレーニング中に組み合わせに使用するモデルをロックし、アンサンブルに新しいモデルが導入されるたびに再トレーニングする必要がある。
我々は,Kaggle RSNAの頭蓋内出血検出チャレンジにおいて,MACは従来の平均的手法より優れており,固定数のサブモデルに対してXGBoostを介してXGBoostを推し進める競争結果が示され,サブモデルを追加してもリトレーニングなしで性能が向上することを示した。
関連論文リスト
- Joint Diffusion models in Continual Learning [4.013156524547073]
共同拡散モデルに基づく生成的リハーサルを用いた連続学習法であるJDCLを紹介する。
生成的再生に基づく連続学習手法は、生成的モデルからサンプリングされた新しいデータとリハーサルデータを組み合わせたモデルの再学習によってこの問題を緩和しようとする。
このような共有パラメトリゼーションと知識蒸留技術を組み合わせることで、破滅的な忘れをせずに新しいタスクに安定した適応ができることを示す。
論文 参考訳（メタデータ） (2024-11-12T22:35:44Z) - Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。
推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。
我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
論文 参考訳（メタデータ） (2024-11-02T07:06:53Z) - EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。
アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。
我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。
我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
論文 参考訳（メタデータ） (2024-10-30T12:16:35Z) - HM3: Heterogeneous Multi-Class Model Merging [0.0]
本研究では,補助ガードレールモデルを単一多機能モデルに統合するためのトレーニングフリーモデルマージ手法について検討する。
異種ラベル空間とマルチクラス分類器をマージする簡単な手法として、異種多クラスモデルマージ(HM3)を提案する。
BERTをベースとしたガードモデルをマージする有望な結果が報告され、その一部はソースモデルよりも平均F1スコア高くなり、推論時間を最大44%削減する。
論文 参考訳（メタデータ） (2024-09-27T22:42:45Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Training-Free Pretrained Model Merging [38.16269074353077]
双対空間制約(MuDSC)の下でのマージという,革新的なモデルマージフレームワークを提案する。
ユーザビリティを高めるため,マルチヘッドアテンションやグループ正規化など,グループ構造への適応も取り入れた。
論文 参考訳（メタデータ） (2024-03-04T06:19:27Z) - Sequential Ensembling for Semantic Segmentation [4.030520171276982]
我々は、複数の独立に訓練された最先端モデルの予測を組み合わせる一般的なアンサンブルアプローチをベンチマークする。
そこで本研究では,素なアンサンブルベースラインを大幅に上回る,逐次アンサンブルネットワークの強化にインスパイアされた新しい手法を提案する。
論文 参考訳（メタデータ） (2022-10-08T22:13:59Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-06-16T16:46:32Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳（メタデータ） (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。