論文の概要: Enhancing the Diversity of Predictions Combination by Negative Correlation Learning

• arxiv url: http://arxiv.org/abs/2104.02317v1
• Date: Tue, 6 Apr 2021 06:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 13:59:35.617018
• Title: Enhancing the Diversity of Predictions Combination by Negative Correlation Learning
• Title（参考訳）: 負相関学習による予測組み合わせの多様性の向上
• Authors: Yun Bai, Ganglin Tian, Yanfei Kang, Suling Jia
• Abstract要約: サブモデルは事前に選択されていないため、パフォーマンスの悪いサブモデルは全体的な精度を減らすことができます。 本稿では,最も多様なモデルサブセットの選択を支援するために,予測組み合わせにおけるサブモデルの多様性を検討することを提案する。
• 参考スコア（独自算出の注目度）: 3.477343169546494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictions combination, as a combination model approach with adjustments in the output space, has flourished in recent years in research and competitions. Simple average is intuitive and robust, and is often used as a benchmark in predictions combination. However, some poorly performing sub-models can reduce the overall accuracy because the sub-models are not selected in advance. Even though some studies have selected the top sub-models for the combination after ranking them by mean square error, the covariance of them causes this approach to not yield much benefit. In this paper, we suggest to consider the diversity of sub-models in the predictions combination, which can be adopted to assist in selecting the most diverse model subset in the model pool using negative correlation learning. Three publicly available datasets are applied to evaluate the approach. The experimental results not only show the diversity of sub-models in the predictions combination incorporating negative correlation learning, but also produce predictions with accuracy far exceeding that of the simple average benchmark and some weighted average methods. Furthermore, by adjusting the penalty strength for negative correlation, the predictions combination also outperform the best sub-model. The value of this paper lies in its ease of use and effectiveness, allowing the predictions combination to embrace both diversity and accuracy.
• Abstract（参考訳）: 予測の組み合わせは、出力空間の調整と組み合わせたモデルアプローチとして、近年研究や競争で盛んに行われている。 単純な平均は直感的で堅牢であり、予測の組み合わせのベンチマークとしてしばしば使用される。 しかしながら、サブモデルが事前に選択されていないため、パフォーマンスの悪いサブモデルによって全体の精度が低下する場合がある。 平均二乗誤差でランク付けした後、組み合わせの上位サブモデルを選択する研究もあるが、それらの共分散はこのアプローチに大きな利益をもたらすことはない。 本稿では,モデルプールにおけるモデルサブセットの選択を支援するために,負の相関学習を用いて,予測組み合わせにおけるサブモデルの多様性を検討することを提案する。 このアプローチを評価するために3つの公開データセットが適用される。 実験結果は,負相関学習を組み込んだ予測組合せにおけるサブモデルの多様性を示すだけでなく,単純な平均ベンチマークや重み付け平均法をはるかに上回る精度で予測する。 さらに, 負相関に対するペナルティ強度の調整により, 予測組み合わせは最高のサブモデルよりも優れていた。 本論文の価値は、その使いやすさと有効性にあるため、予測の組み合わせが多様性と正確性の両方を受け入れることができる。

関連論文リスト

• Be More Diverse than the Most Diverse: Online Selection of Diverse Mixtures of Generative Models [33.04472814852163]
  本研究では,複数の生成モデルの組み合わせの選択について検討する。 我々はMixture-UCB(Mixture-UCB)と呼ばれるオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T14:48:17Z)
• EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
  画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。 アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。 我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。 我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:16:35Z)
• Stabilizing black-box model selection with the inflated argmax [8.52745154080651]
  理論的安定性を保証するモデル選択を安定化する新しい手法を提案する。 提案手法では,データに適合するモデルの小さなコレクションを選択し,高い確率で任意のトレーニングポイントを除去すると,元のコレクションと重なる選択されたモデルのコレクションが生成される。
  論文  参考訳（メタデータ） (2024-10-23T20:39:07Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Lp-Norm Constrained One-Class Classifier Combination [18.27510863075184]
  アンサンブルの空間/均一性をモデル化し,一級分類問題を考える。 定式化凸制約問題の解法を効果的に提案する。
  論文  参考訳（メタデータ） (2023-12-25T16:32:34Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications [0.0]
  異なる回帰モデルを組み合わせることで、単一の(ベストな)回帰モデルを選択するよりも良い結果が得られることを示す。 不均一回帰モデルから最適重み付き線形結合を求める効率的な手法を概説する。
  論文  参考訳（メタデータ） (2022-06-22T09:11:14Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。