論文の概要: Window-Based Early-Exit Cascades for Uncertainty Estimation: When Deep
Ensembles are More Efficient than Single Models
- arxiv url: http://arxiv.org/abs/2303.08010v2
- Date: Fri, 18 Aug 2023 14:51:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 19:55:12.076173
- Title: Window-Based Early-Exit Cascades for Uncertainty Estimation: When Deep
Ensembles are More Efficient than Single Models
- Title（参考訳）: 不確実性推定のためのウィンドウベース早期実行カスケード:深部アンサンブルが単一モデルよりも効率的である場合
- Authors: Guoxuan Xia and Christos-Savvas Bouganis
- Abstract要約: アンサンブルは、アーキテクチャファミリ内の単一モデルをスケーリングするよりも、より計算的に(推論において)効率的であることを示す。
本研究では,不確実性推定に関連する課題に対して,これらの効率性の向上について検討する。
多数のネットワークアーキテクチャおよび不確実性タスクにわたるImageNetスケールデータの実験により、提案したウィンドウベースの早期実行アプローチは、より優れた不確実性計算トレードオフを実現することができることを示す。
- 参考スコア（独自算出の注目度）: 5.0401589279256065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Ensembles are a simple, reliable, and effective method of improving both
the predictive performance and uncertainty estimates of deep learning
approaches. However, they are widely criticised as being computationally
expensive, due to the need to deploy multiple independent models. Recent work
has challenged this view, showing that for predictive accuracy, ensembles can
be more computationally efficient (at inference) than scaling single models
within an architecture family. This is achieved by cascading ensemble members
via an early-exit approach. In this work, we investigate extending these
efficiency gains to tasks related to uncertainty estimation. As many such
tasks, e.g. selective classification, are binary classification, our key novel
insight is to only pass samples within a window close to the binary decision
boundary to later cascade stages. Experiments on ImageNet-scale data across a
number of network architectures and uncertainty tasks show that the proposed
window-based early-exit approach is able to achieve a superior
uncertainty-computation trade-off compared to scaling single models. For
example, a cascaded EfficientNet-B2 ensemble is able to achieve similar
coverage at 5% risk as a single EfficientNet-B4 with <30% the number of MACs.
We also find that cascades/ensembles give more reliable improvements on OOD
data vs scaling models up. Code for this work is available at:
https://github.com/Guoxoug/window-early-exit.
- Abstract（参考訳）: Deep Ensemblesは、ディープラーニングアプローチの予測性能と不確実性の両方を改善するための、シンプルで信頼性が高く効果的な方法である。
しかし、複数の独立したモデルをデプロイする必要があるため、計算コストが高いと広く批判されている。
最近の研究は、予測精度において、アンサンブルはアーキテクチャファミリ内の単一モデルをスケーリングするよりも、より計算効率(推論時)が高いことを示している。
これは初期のアプローチでアンサンブルメンバーをカスケードすることで達成される。
本研究では,これらの効率向上を不確実性推定に関連するタスクに拡張することを検討する。
このようなタスクの多く、例えば選択的分類はバイナリ分類であり、我々の重要な洞察は、バイナリ決定境界に近いウィンドウ内でのみサンプルを後続のカスケードステージに渡すことである。
複数のネットワークアーキテクチャと不確実性タスクにわたるimagenetスケールデータの実験により、提案するウィンドウベースのアーリーエクイットアプローチが、単一モデルのスケーリングよりも優れた不確実性-計算トレードオフを達成できることが示されている。
例えば、カスケードされたEfficientNet-B2アンサンブルは、MAC数の30%以下の単一のEfficientNet-B4と同様のカバレッジを5%のリスクで達成することができる。
また、カスケード/アンサンブルはOODデータに対して、スケールアップモデルよりも信頼性の高い改善を提供します。
この作業のコードは、https://github.com/guoxoug/window-early-exitで入手できる。
関連論文リスト
- Using Ensemble Inference to Improve Recall of Clone Detection [0.0]
大規模なソースコードクローン検出は難しい課題である。
我々は、最先端のニューラルネットワークモデル4つを採用し、それらを個別に/または組み合わせて評価する。
その結果、およそ5万行のC/C++コードからなるイラストレーションデータセット上で、アンサンブル推論は、すべての試行ケースで個々のモデルよりも優れていることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T09:44:59Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z) - Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。
提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。
本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。
本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
論文 参考訳（メタデータ） (2022-10-11T20:20:20Z) - Scalable Uncertainty Quantification for Deep Operator Networks using
Randomized Priors [14.169588600819546]
ディープ・オペレーター・ネットワーク(DeepONets)における後続不確実性定量化のための単純かつ効果的なアプローチを提案する。
我々は,ランダム化前のアンサンブルに基づく頻繁なアプローチを採用し,高速化ハードウェア上での高速並列推論のための効率的なベクトル化実装を提案する。
論文 参考訳（メタデータ） (2022-03-06T20:48:16Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳（メタデータ） (2021-10-07T11:58:35Z) - ApproxIFER: A Model-Agnostic Approach to Resilient and Robust Prediction
Serving Systems [24.75623641870649]
一般的なストラグラー数を扱うために ApproxIFER を提案する。
多数のデータセットとモデルアーキテクチャに関する実験では、パリティモデルアプローチよりも最大58%精度が向上した。
論文 参考訳（メタデータ） (2021-09-20T22:29:57Z) - Probabilistic Case-based Reasoning for Open-World Knowledge Graph
Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。
本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。
提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文 参考訳（メタデータ） (2020-10-07T17:48:12Z) - Learning All Credible Bayesian Network Structures for Model Averaging [3.81379858342235]
近似アルゴリズムの性能保証に着想を得たモデル平均化手法を提案する。
我々のアプローチは既存のアプローチよりも効率的で、ベイズ的ネットワークにスケールする。
論文 参考訳（メタデータ） (2020-08-27T19:56:27Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳（メタデータ） (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。