論文の概要: Enhancing the Diversity of Predictions Combination by Negative
Correlation Learning
- arxiv url: http://arxiv.org/abs/2104.02317v1
- Date: Tue, 6 Apr 2021 06:45:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-07 13:59:35.617018
- Title: Enhancing the Diversity of Predictions Combination by Negative
Correlation Learning
- Title(参考訳): 負相関学習による予測組み合わせの多様性の向上
- Authors: Yun Bai, Ganglin Tian, Yanfei Kang, Suling Jia
- Abstract要約: サブモデルは事前に選択されていないため、パフォーマンスの悪いサブモデルは全体的な精度を減らすことができます。
本稿では,最も多様なモデルサブセットの選択を支援するために,予測組み合わせにおけるサブモデルの多様性を検討することを提案する。
- 参考スコア(独自算出の注目度): 3.477343169546494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictions combination, as a combination model approach with adjustments in
the output space, has flourished in recent years in research and competitions.
Simple average is intuitive and robust, and is often used as a benchmark in
predictions combination. However, some poorly performing sub-models can reduce
the overall accuracy because the sub-models are not selected in advance. Even
though some studies have selected the top sub-models for the combination after
ranking them by mean square error, the covariance of them causes this approach
to not yield much benefit. In this paper, we suggest to consider the diversity
of sub-models in the predictions combination, which can be adopted to assist in
selecting the most diverse model subset in the model pool using negative
correlation learning. Three publicly available datasets are applied to evaluate
the approach. The experimental results not only show the diversity of
sub-models in the predictions combination incorporating negative correlation
learning, but also produce predictions with accuracy far exceeding that of the
simple average benchmark and some weighted average methods. Furthermore, by
adjusting the penalty strength for negative correlation, the predictions
combination also outperform the best sub-model. The value of this paper lies in
its ease of use and effectiveness, allowing the predictions combination to
embrace both diversity and accuracy.
- Abstract(参考訳): 予測の組み合わせは、出力空間の調整と組み合わせたモデルアプローチとして、近年研究や競争で盛んに行われている。
単純な平均は直感的で堅牢であり、予測の組み合わせのベンチマークとしてしばしば使用される。
しかしながら、サブモデルが事前に選択されていないため、パフォーマンスの悪いサブモデルによって全体の精度が低下する場合がある。
平均二乗誤差でランク付けした後、組み合わせの上位サブモデルを選択する研究もあるが、それらの共分散はこのアプローチに大きな利益をもたらすことはない。
本稿では,モデルプールにおけるモデルサブセットの選択を支援するために,負の相関学習を用いて,予測組み合わせにおけるサブモデルの多様性を検討することを提案する。
このアプローチを評価するために3つの公開データセットが適用される。
実験結果は,負相関学習を組み込んだ予測組合せにおけるサブモデルの多様性を示すだけでなく,単純な平均ベンチマークや重み付け平均法をはるかに上回る精度で予測する。
さらに, 負相関に対するペナルティ強度の調整により, 予測組み合わせは最高のサブモデルよりも優れていた。
本論文の価値は、その使いやすさと有効性にあるため、予測の組み合わせが多様性と正確性の両方を受け入れることができる。
関連論文リスト
- Lp-Norm Constrained One-Class Classifier Combination [18.27510863075184]
アンサンブルの空間/均一性をモデル化し,一級分類問題を考える。
定式化凸制約問題の解法を効果的に提案する。
論文 参考訳(メタデータ) (2023-12-25T16:32:34Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳(メタデータ) (2023-01-30T20:59:30Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Oracle Inequalities for Model Selection in Offline Reinforcement
Learning [105.74139523696284]
本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。
対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。
そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
論文 参考訳(メタデータ) (2022-11-03T17:32:34Z) - Optimally Weighted Ensembles of Regression Models: Exact Weight
Optimization and Applications [0.0]
異なる回帰モデルを組み合わせることで、単一の(ベストな)回帰モデルを選択するよりも良い結果が得られることを示す。
不均一回帰モデルから最適重み付き線形結合を求める効率的な手法を概説する。
論文 参考訳(メタデータ) (2022-06-22T09:11:14Z) - Split Modeling for High-Dimensional Logistic Regression [0.2676349883103404]
短時間コンパイルしたアンサンブルロジスティック分類モデルに対して,新しい手法を提案する。
本手法は,予測精度に優れたバイアスオフの活用法を学習する。
提案手法を実装したオープンソースソフトウェアライブラリを議論する。
論文 参考訳(メタデータ) (2021-02-17T05:57:26Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳(メタデータ) (2020-07-11T19:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。