論文の概要: Self-Error Adjustment: Theory and Practice of Balancing Individual Performance and Diversity in Ensemble Learning

• arxiv url: http://arxiv.org/abs/2508.04948v1
• Date: Thu, 07 Aug 2025 00:30:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.670427
• Title: Self-Error Adjustment: Theory and Practice of Balancing Individual Performance and Diversity in Ensemble Learning
• Title（参考訳）: 自己誤り調整:学習における個人のパフォーマンスと多様性のバランスの理論と実践
• Authors: Rui Zou,
• Abstract要約: アンサンブル学習は、複数のベース学習者からの予測を集約することで、パフォーマンスを高める。 BaggingやBoostingといった従来の手法は、ランダム性を通じて多様性を促進するが、精度と多様性のトレードオフを正確に制御するものではない。 アンサンブルエラーを2つの異なるコンポーネントに分解するSEA(Self-Error Adjustment)という新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.114446284816968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble learning boosts performance by aggregating predictions from multiple base learners. A core challenge is balancing individual learner accuracy with diversity. Traditional methods like Bagging and Boosting promote diversity through randomness but lack precise control over the accuracy-diversity trade-off. Negative Correlation Learning (NCL) introduces a penalty to manage this trade-off but suffers from loose theoretical bounds and limited adjustment range. To overcome these limitations, we propose a novel framework called Self-Error Adjustment (SEA), which decomposes ensemble errors into two distinct components: individual performance terms, representing the self-error of each base learner, and diversity terms, reflecting interactions among learners. This decomposition allows us to introduce an adjustable parameter into the loss function, offering precise control over the contribution of each component, thus enabling finer regulation of ensemble performance. Compared to NCL and its variants, SEA provides a broader range of effective adjustments and more consistent changes in diversity. Furthermore, we establish tighter theoretical bounds for adjustable ensemble methods and validate them through empirical experiments. Experimental results on several public regression and classification datasets demonstrate that SEA consistently outperforms baseline methods across all tasks. Ablation studies confirm that SEA offers more flexible adjustment capabilities and superior performance in fine-tuning strategies.
• Abstract（参考訳）: アンサンブル学習は、複数のベース学習者からの予測を集約することで、パフォーマンスを高める。 主な課題は、個々の学習者の正確さと多様性のバランスをとることだ。 BaggingやBoostingといった従来の手法は、ランダム性を通じて多様性を促進するが、精度と多様性のトレードオフを正確に制御するものではない。 負相関学習(NCL)は、このトレードオフを管理するために罰則を導入するが、ゆるやかな理論的境界と限られた調整範囲に苦しむ。 これらの制約を克服するために,各学習者の自己誤りを表す個別演奏語と,学習者間の相互作用を反映した多様性語という,アンサンブルエラーを分解するSEA(Self-Error Adjustment)というフレームワークを提案する。 この分解により、損失関数に調整可能なパラメータを導入し、各コンポーネントのコントリビューションを正確に制御し、アンサンブル性能のより細かい調整を可能にする。 NCLとその変種と比較して、SEAはより広範囲の効果的な調整と多様性のより一貫した変化を提供する。 さらに、調整可能なアンサンブル法についてより厳密な理論的境界を確立し、実証実験により検証する。 いくつかのパブリックレグレッションおよび分類データセットの実験結果から、SEAはすべてのタスクのベースラインメソッドを一貫して上回っていることが示された。 アブレーション研究は、SEAが微調整戦略においてより柔軟な調整能力と優れた性能を提供することを確認した。

関連論文リスト

• Variational Supervised Contrastive Learning [50.79938854370321]
  本稿では,教師付きコントラスト学習を潜在クラス変数に対する変分推論として再構成した変分教師付きコントラスト学習(VarCon)を提案する。 VarConは対照的な学習フレームワークの最先端のパフォーマンスを達成し、ImageNet-1Kでは79.36%、CIFAR-100では78.29%、ResNet-50エンコーダでは78.29%に達した。
  論文  参考訳（メタデータ） (2025-06-09T04:19:12Z)
• Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
  クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。 我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。 極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
  論文  参考訳（メタデータ） (2024-08-30T10:49:33Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Large Language Models are Miscalibrated In-Context Learners [22.30783674111999]
  本研究では,学習方法の異なる選択にまたがる行動の詳細な分析を行う。 低リソース環境における全ての学習手法に誤校正問題が存在することを観察する。 最大確率で自己認識を行うことで,ロバストかつ校正された予測が得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Holistic Deep Learning [3.718942345103135]
  本稿では、入力摂動、過度なパラメータ化、性能不安定といった脆弱性の課題に対処する、新しい総合的なディープラーニングフレームワークを提案する。 提案したフレームワークは、標準的なディープラーニングモデルよりも正確性、堅牢性、疎性、安定性を全面的に改善する。
  論文  参考訳（メタデータ） (2021-10-29T14:46:32Z)
• Repulsive Deep Ensembles are Bayesian [6.544954579068863]
  ディープアンサンブルの更新規則にカーネル化された反発項を導入する。 この単純な修正は、メンバー間の多様性を強制し維持するだけでなく、さらに重要なことは、最大後の推論を適切なベイズ推論に変換することである。
  論文  参考訳（メタデータ） (2021-06-22T09:50:28Z)
• DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation [109.11580756757611]
  メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。 最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。 DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
  論文  参考訳（メタデータ） (2021-01-14T10:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。