論文の概要: Enhancing the Diversity of Predictions Combination by Negative
Correlation Learning
- arxiv url: http://arxiv.org/abs/2104.02317v1
- Date: Tue, 6 Apr 2021 06:45:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-04-07 13:59:35.617018
- Title: Enhancing the Diversity of Predictions Combination by Negative
Correlation Learning
- Title（参考訳）: 負相関学習による予測組み合わせの多様性の向上
- Authors: Yun Bai, Ganglin Tian, Yanfei Kang, Suling Jia
- Abstract要約: サブモデルは事前に選択されていないため、パフォーマンスの悪いサブモデルは全体的な精度を減らすことができます。
本稿では,最も多様なモデルサブセットの選択を支援するために,予測組み合わせにおけるサブモデルの多様性を検討することを提案する。
- 参考スコア（独自算出の注目度）: 3.477343169546494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictions combination, as a combination model approach with adjustments in
the output space, has flourished in recent years in research and competitions.
Simple average is intuitive and robust, and is often used as a benchmark in
predictions combination. However, some poorly performing sub-models can reduce
the overall accuracy because the sub-models are not selected in advance. Even
though some studies have selected the top sub-models for the combination after
ranking them by mean square error, the covariance of them causes this approach
to not yield much benefit. In this paper, we suggest to consider the diversity
of sub-models in the predictions combination, which can be adopted to assist in
selecting the most diverse model subset in the model pool using negative
correlation learning. Three publicly available datasets are applied to evaluate
the approach. The experimental results not only show the diversity of
sub-models in the predictions combination incorporating negative correlation
learning, but also produce predictions with accuracy far exceeding that of the
simple average benchmark and some weighted average methods. Furthermore, by
adjusting the penalty strength for negative correlation, the predictions
combination also outperform the best sub-model. The value of this paper lies in
its ease of use and effectiveness, allowing the predictions combination to
embrace both diversity and accuracy.
- Abstract（参考訳）: 予測の組み合わせは、出力空間の調整と組み合わせたモデルアプローチとして、近年研究や競争で盛んに行われている。
単純な平均は直感的で堅牢であり、予測の組み合わせのベンチマークとしてしばしば使用される。
しかしながら、サブモデルが事前に選択されていないため、パフォーマンスの悪いサブモデルによって全体の精度が低下する場合がある。
平均二乗誤差でランク付けした後、組み合わせの上位サブモデルを選択する研究もあるが、それらの共分散はこのアプローチに大きな利益をもたらすことはない。
本稿では,モデルプールにおけるモデルサブセットの選択を支援するために,負の相関学習を用いて,予測組み合わせにおけるサブモデルの多様性を検討することを提案する。
このアプローチを評価するために3つの公開データセットが適用される。
実験結果は,負相関学習を組み込んだ予測組合せにおけるサブモデルの多様性を示すだけでなく,単純な平均ベンチマークや重み付け平均法をはるかに上回る精度で予測する。
さらに, 負相関に対するペナルティ強度の調整により, 予測組み合わせは最高のサブモデルよりも優れていた。
本論文の価値は、その使いやすさと有効性にあるため、予測の組み合わせが多様性と正確性の両方を受け入れることができる。
関連論文リスト
- Model Assembly Learning with Heterogeneous Layer Weight Merging [57.8462476398611]
モデル統合のための新しいパラダイムであるモデルアセンブリ学習(MAL)を紹介する。
MALは、様々なモデルのパラメータをオープンエンドモデル動物園に統合し、ベースモデルの能力を高める。
論文 参考訳（メタデータ） (2025-03-27T16:21:53Z) - Be More Diverse than the Most Diverse: Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms [33.04472814852163]
ベンチマーク画像データセット上の生成モデルの混合は、実際により良い評価スコアを得ることができることを数値的に示す。
そこで我々は,Mixture-UCBアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-23T14:48:17Z) - EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。
アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。
我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。
我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
論文 参考訳（メタデータ） (2024-10-30T12:16:35Z) - Stabilizing black-box model selection with the inflated argmax [8.52745154080651]
本稿では,バッジと「膨らませた」argmax演算を組み合わせたモデル選択の安定化手法を提案する。
提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重複するモデルのコレクションが生成される。
いずれの設定においても,提案手法は,選択したモデルの安定かつコンパクトなコレクションを生成し,様々なベンチマークより優れている。
論文 参考訳（メタデータ） (2024-10-23T20:39:07Z) - Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
論文 参考訳（メタデータ） (2024-03-28T22:45:38Z) - Lp-Norm Constrained One-Class Classifier Combination [18.27510863075184]
アンサンブルの空間/均一性をモデル化し,一級分類問題を考える。
定式化凸制約問題の解法を効果的に提案する。
論文 参考訳（メタデータ） (2023-12-25T16:32:34Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳（メタデータ） (2023-01-30T20:59:30Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Optimally Weighted Ensembles of Regression Models: Exact Weight
Optimization and Applications [0.0]
異なる回帰モデルを組み合わせることで、単一の(ベストな)回帰モデルを選択するよりも良い結果が得られることを示す。
不均一回帰モデルから最適重み付き線形結合を求める効率的な手法を概説する。
論文 参考訳（メタデータ） (2022-06-22T09:11:14Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。