論文の概要: A hybrid ensemble method with negative correlation learning for regression

• arxiv url: http://arxiv.org/abs/2104.02317v5
• Date: Mon, 15 May 2023 09:25:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 01:51:07.467264
• Title: A hybrid ensemble method with negative correlation learning for regression
• Title（参考訳）: 回帰のための負相関学習を用いたハイブリッドアンサンブル法
• Authors: Yun Bai, Ganglin Tian, Yanfei Kang, Suling Jia
• Abstract要約: ヘテロジニアスモデルプールからサブモデルを自動的に選択および重み付けする。 内部点フィルタリング線形探索アルゴリズムを用いて最適化問題を解く。 本研究の価値は、その使いやすさと有効性にあるため、ハイブリッドアンサンブルは多様性と正確性を受け入れることができる。
• 参考スコア（独自算出の注目度）: 2.8484009470171943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid ensemble, an essential branch of ensembles, has flourished in the regression field, with studies confirming diversity's importance. However, previous ensembles consider diversity in the sub-model training stage, with limited improvement compared to single models. In contrast, this study automatically selects and weights sub-models from a heterogeneous model pool. It solves an optimization problem using an interior-point filtering linear-search algorithm. The objective function innovatively incorporates negative correlation learning as a penalty term, with which a diverse model subset can be selected. The best sub-models from each model class are selected to build the NCL ensemble, which performance is better than the simple average and other state-of-the-art weighting methods. It is also possible to improve the NCL ensemble with a regularization term in the objective function. In practice, it is difficult to conclude the optimal sub-model for a dataset prior due to the model uncertainty. Regardless, our method would achieve comparable accuracy as the potential optimal sub-models. In conclusion, the value of this study lies in its ease of use and effectiveness, allowing the hybrid ensemble to embrace diversity and accuracy.
• Abstract（参考訳）: アンサンブルの必須分野であるハイブリッドアンサンブルは回帰分野で繁栄し、多様性の重要性を実証する研究が行われている。 しかし、以前のアンサンブルでは、単一モデルに比べて改良が限定されたサブモデルの訓練段階における多様性が検討されていた。 対照的に、異種モデルプールからサブモデルを自動的に選択し、重み付けする。 内部点フィルタリング線形探索アルゴリズムを用いて最適化問題を解く。 目的関数は、様々なモデルサブセットを選択可能なペナルティ項として、負相関学習を革新的に取り入れる。 各モデルクラスの最良のサブモデルはnclアンサンブルを構築するために選択され、単純な平均や他の最先端の重み付けメソッドよりもパフォーマンスが良い。 また、目的関数の正規化項でNCLアンサンブルを改善することもできる。 実際、モデルの不確実性のため、データセットの最適なサブモデルを事前に結論付けるのは難しい。 いずれにせよ,本手法は潜在的最適部分モデルと同等の精度を達成できる。 結論として、本研究の価値は使いやすさと有効性にあるため、ハイブリッドアンサンブルは多様性と正確性を受け入れることができる。

関連論文リスト

• EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
  画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。 アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。 我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。 我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:16:35Z)
• Stabilizing black-box model selection with the inflated argmax [8.52745154080651]
  本稿では,バッジと「膨らませた」argmax演算を組み合わせたモデル選択の安定化手法を提案する。 提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重複するモデルのコレクションが生成される。 いずれの設定においても,提案手法は,選択したモデルの安定かつコンパクトなコレクションを生成し,様々なベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-10-23T20:39:07Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Lp-Norm Constrained One-Class Classifier Combination [18.27510863075184]
  アンサンブルの空間/均一性をモデル化し,一級分類問題を考える。 定式化凸制約問題の解法を効果的に提案する。
  論文  参考訳（メタデータ） (2023-12-25T16:32:34Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications [0.0]
  異なる回帰モデルを組み合わせることで、単一の(ベストな)回帰モデルを選択するよりも良い結果が得られることを示す。 不均一回帰モデルから最適重み付き線形結合を求める効率的な手法を概説する。
  論文  参考訳（メタデータ） (2022-06-22T09:11:14Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。