論文の概要: Deep Negative Correlation Classification

• arxiv url: http://arxiv.org/abs/2212.07070v1
• Date: Wed, 14 Dec 2022 07:35:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:36:57.153554
• Title: Deep Negative Correlation Classification
• Title（参考訳）: 深い否定的相関分類
• Authors: Le Zhang, Qibin Hou, Yun Liu, Jia-Wang Bian, Xun Xu, Joey Tianyi Zhou and Ce Zhu
• Abstract要約: 既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
• 参考スコア（独自算出の注目度）: 82.45045814842595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble learning serves as a straightforward way to improve the performance of almost any machine learning algorithm. Existing deep ensemble methods usually naively train many different models and then aggregate their predictions. This is not optimal in our view from two aspects: i) Naively training multiple models adds much more computational burden, especially in the deep learning era; ii) Purely optimizing each base model without considering their interactions limits the diversity of ensemble and performance gains. We tackle these issues by proposing deep negative correlation classification (DNCC), in which the accuracy and diversity trade-off is systematically controlled by decomposing the loss function seamlessly into individual accuracy and the correlation between individual models and the ensemble. DNCC yields a deep classification ensemble where the individual estimator is both accurate and negatively correlated. Thanks to the optimized diversities, DNCC works well even when utilizing a shared network backbone, which significantly improves its efficiency when compared with most existing ensemble systems. Extensive experiments on multiple benchmark datasets and network structures demonstrate the superiority of the proposed method.
• Abstract（参考訳）: アンサンブル学習は、ほぼすべての機械学習アルゴリズムのパフォーマンスを改善するための簡単な方法である。 既存のディープアンサンブルメソッドは、通常、多くの異なるモデルを学習し、それらの予測を集約する。 これは2つの側面から見て最適ではない。 一 総合的な複数のモデルの訓練は、特に深層学習期において、より計算負担を増大させる。 二 相互作用を考慮せずに各ベースモデルを純粋に最適化し、アンサンブルの多様性及び性能向上を制限すること。 本稿では,損失関数を個別の精度にシームレスに分解し,個別モデルとアンサンブルの相関関係を組み合わせることで,精度と多様性のトレードオフを体系的に制御する深部負相関分類(dncc)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。 最適化された多様性のおかげで、DNCCは共有ネットワークのバックボーンを使用する場合でもうまく機能し、既存のアンサンブルシステムと比較して効率が大幅に向上する。 複数のベンチマークデータセットとネットワーク構造に関する広範囲な実験が提案手法の優位性を示している。

関連論文リスト

• On Uniform, Bayesian, and PAC-Bayesian Deep Ensembles [7.883369697332076]
  本研究では,ベイズアンサンブルのサンプリングと重み付けは,特に一般化性能の向上に適していないという議論をレビューする。 2次PAC-ベイジアン一般化境界の最小化により重みが最適化されるモデルの重み付き平均は、一般化を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-06-08T13:19:18Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble [22.065904428696353]
  最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。 我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
  論文  参考訳（メタデータ） (2023-01-18T21:47:05Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• BALanCe: Deep Bayesian Active Learning via Equivalence Class Annealing [7.9107076476763885]
  BALanCeは、不確実性推定の効果を緩和する、深いアクティブな学習フレームワークである。 Batch-BALanCeは、逐次アルゴリズムのバッチ設定への一般化である。 Batch-BALanCeは、アクティブな学習のためのいくつかのベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-12-27T15:38:27Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• End-to-End Training of CNN Ensembles for Person Re-Identification [0.0]
  本稿では,識別モデルにおける過剰適合問題に対処するため,個人再識別のためのエンドツーエンドアンサンブル手法を提案する。 提案するアンサンブル学習フレームワークは,1つのDenseNetで多種多様な,正確なベースラーニングを行う。 いくつかのベンチマークデータセットを用いた実験により,本手法が最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-10-03T12:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。