論文の概要: Is BatchEnsemble a Single Model? On Calibration and Diversity of Efficient Ensembles

• arxiv url: http://arxiv.org/abs/2601.16936v1
• Date: Fri, 23 Jan 2026 17:50:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.791926
• Title: Is BatchEnsemble a Single Model? On Calibration and Diversity of Efficient Ensembles
• Title（参考訳）: BatchEnsembleは単一モデルか? 効率的なアンサンブルの校正と多様性について
• Authors: Anton Zamyatin, Patrick Indri, Sagar Malhotra, Thomas Gärtner,
• Abstract要約: BatchEnsembleは、アンサンブルのような不確実性(EU)EUを、はるかに低いパラメータとメモリコストで提供することを目指している。 我々は,BatchEnsembleがDeep Ensemblesを過小評価するだけでなく,単一のモデルベースラインを密接に追跡していることを示す。
• 参考スコア（独自算出の注目度）: 2.957223821964636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In resource-constrained and low-latency settings, uncertainty estimates must be efficiently obtained. Deep Ensembles provide robust epistemic uncertainty (EU) but require training multiple full-size models. BatchEnsemble aims to deliver ensemble-like EU at far lower parameter and memory cost by applying learned rank-1 perturbations to a shared base network. We show that BatchEnsemble not only underperforms Deep Ensembles but closely tracks a single model baseline in terms of accuracy, calibration and out-of-distribution (OOD) detection on CIFAR10/10C/SVHN. A controlled study on MNIST finds members are near-identical in function and parameter space, indicating limited capacity to realize distinct predictive modes. Thus, BatchEnsemble behaves more like a single model than a true ensemble.
• Abstract（参考訳）: 資源制約と低レイテンシ設定では、不確実性推定を効率的に得る必要がある。 Deep Ensemblesは、堅牢なてんかん不確実性(EU)を提供するが、複数のフルサイズのモデルを訓練する必要がある。 BatchEnsembleは、学習されたランク1摂動を共有ベースネットワークに適用することにより、アンサンブルのようなEUをはるかに低いパラメータとメモリコストで提供することを目指している。 CIFAR10/10C/SVHNの精度,キャリブレーション,アウト・オブ・ディストリビューション(OOD)検出において,BatchEnsembleがDeep Ensemblesを過小評価するだけでなく,単一のモデルベースラインを密に追跡することを示す。 MNISTの制御された研究によると、メンバーは関数とパラメータ空間においてほぼ同一であり、異なる予測モードを実現するための限られた能力を示している。 したがって、BatchEnsembleは真のアンサンブルよりも単一のモデルのように振る舞う。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。 この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Split-Ensemble: Efficient OOD-aware Ensemble via Task and Model Splitting [42.59091710435927]
  不確実性推定は、機械学習モデルがアウト・オブ・ディストリビューション(OOD)入力を検出するために不可欠である。 本研究では,代替の Split-Ensemble 法を用いたOODデータや追加の推論コストを使わずに不確実性推定を改善する。
  論文  参考訳（メタデータ） (2023-12-14T17:18:44Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。