論文の概要: On Joint Regularization and Calibration in Deep Ensembles
- arxiv url: http://arxiv.org/abs/2511.04160v1
- Date: Thu, 06 Nov 2025 08:04:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-07 20:17:53.357678
- Title: On Joint Regularization and Calibration in Deep Ensembles
- Title（参考訳）: 深部アンサンブルの連成正規化と校正について
- Authors: Laurits Fredsgaard, Mikkel N. Schmidt,
- Abstract要約: ディープアンサンブルは機械学習において強力なツールであり、モデル性能と不確実性校正の両方を改善している。
本稿では, 重量減衰, 温度スケーリング, 早期停止が予測性能および不確実性定量化に与える影響について検討する。
我々は、ディープアンサンブルトレーニングにおける個人と共同最適化のトレードオフを強調し、重複するホールドアウト戦略は魅力的な実用的なソリューションを提供する。
- 参考スコア（独自算出の注目度）: 4.042929081555184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep ensembles are a powerful tool in machine learning, improving both model performance and uncertainty calibration. While ensembles are typically formed by training and tuning models individually, evidence suggests that jointly tuning the ensemble can lead to better performance. This paper investigates the impact of jointly tuning weight decay, temperature scaling, and early stopping on both predictive performance and uncertainty quantification. Additionally, we propose a partially overlapping holdout strategy as a practical compromise between enabling joint evaluation and maximizing the use of data for training. Our results demonstrate that jointly tuning the ensemble generally matches or improves performance, with significant variation in effect size across different tasks and metrics. We highlight the trade-offs between individual and joint optimization in deep ensemble training, with the overlapping holdout strategy offering an attractive practical solution. We believe our findings provide valuable insights and guidance for practitioners looking to optimize deep ensemble models. Code is available at: https://github.com/lauritsf/ensemble-optimality-gap
- Abstract（参考訳）: ディープアンサンブルは機械学習において強力なツールであり、モデル性能と不確実性校正の両方を改善している。
アンサンブルは通常、個別にモデルの訓練とチューニングによって形成されるが、アンサンブルを共同でチューニングすることでパフォーマンスが向上する証拠が示唆されている。
本稿では, 重量減衰, 温度スケーリング, 早期停止が予測性能および不確実性定量化に与える影響について検討する。
さらに,共同評価の実現とトレーニングにおけるデータ利用の最大化を両立させるために,部分的に重複するホールドアウト戦略を提案する。
実験の結果、アンサンブルの調整は、通常、異なるタスクやメトリクスにまたがる効果の大きさに大きな変化があり、パフォーマンスが向上することが示された。
我々は、ディープアンサンブルトレーニングにおける個人と共同最適化のトレードオフを強調し、重複するホールドアウト戦略は魅力的な実用的なソリューションを提供する。
私たちの発見は、深層アンサンブルモデルの最適化を目指す実践者に対して、貴重な洞察とガイダンスを提供すると信じています。
コードは、https://github.com/lauritsf/ensemble-optimality-gap.comで入手できる。
関連論文リスト
- How does the optimizer implicitly bias the model merging loss landscape? [66.96572894292895]
一つの量 -- 効果的なノイズスケール -- が、モデルマージにおける推論とデータ選択の影響を統一することを示します。
データセット全体にわたって、マージ成功の有効性は、有効雑音の非単調関数であり、明確な最適値である。
論文 参考訳（メタデータ） (2025-10-06T10:56:41Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - On Uniform, Bayesian, and PAC-Bayesian Deep Ensembles [7.883369697332076]
本研究では,ベイズアンサンブルのサンプリングと重み付けは,特に一般化性能の向上に適していないという議論をレビューする。
2次PAC-ベイジアン一般化境界の最小化により重みが最適化されるモデルの重み付き平均は、一般化を改善することができることを示す。
論文 参考訳（メタデータ） (2024-06-08T13:19:18Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳（メタデータ） (2023-01-26T18:58:07Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳（メタデータ） (2021-12-10T20:46:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。