論文の概要: Towards Inference Efficient Deep Ensemble Learning
- arxiv url: http://arxiv.org/abs/2301.12378v1
- Date: Sun, 29 Jan 2023 06:48:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 17:24:57.444730
- Title: Towards Inference Efficient Deep Ensemble Learning
- Title(参考訳): 効率的な深層学習をめざして
- Authors: Ziyue Li, Kan Ren, Yifan Yang, Xinyang Jiang, Yuqing Yang, Dongsheng
Li
- Abstract要約: アンサンブル法は驚くべき性能向上をもたらすが、計算コストも大幅に高くなる。
本研究では,アンサンブル学習における効率と効率を同時に最適化する,推論効率のよいアンサンブル学習手法を提案する。
実世界のデータセットで異なるバックボーンを用いた実験は、我々の手法が推論コストを最大56%削減できることを示している。
- 参考スコア(独自算出の注目度): 35.1550905788943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensemble methods can deliver surprising performance gains but also bring
significantly higher computational costs, e.g., can be up to 2048X in
large-scale ensemble tasks. However, we found that the majority of computations
in ensemble methods are redundant. For instance, over 77% of samples in
CIFAR-100 dataset can be correctly classified with only a single ResNet-18
model, which indicates that only around 23% of the samples need an ensemble of
extra models. To this end, we propose an inference efficient ensemble learning
method, to simultaneously optimize for effectiveness and efficiency in ensemble
learning. More specifically, we regard ensemble of models as a sequential
inference process and learn the optimal halting event for inference on a
specific sample. At each timestep of the inference process, a common selector
judges if the current ensemble has reached ensemble effectiveness and halt
further inference, otherwise filters this challenging sample for the subsequent
models to conduct more powerful ensemble. Both the base models and common
selector are jointly optimized to dynamically adjust ensemble inference for
different samples with various hardness, through the novel optimization goals
including sequential ensemble boosting and computation saving. The experiments
with different backbones on real-world datasets illustrate our method can bring
up to 56\% inference cost reduction while maintaining comparable performance to
full ensemble, achieving significantly better ensemble utility than other
baselines. Code and supplemental materials are available at
https://seqml.github.io/irene.
- Abstract(参考訳): アンサンブルメソッドは驚くべきパフォーマンス向上をもたらすが、大規模なアンサンブルタスクでは最大2048倍の計算コストをもたらす。
しかし,アンサンブル法における計算の大半は冗長であることがわかった。
例えば、CIFAR-100データセットの77%以上のサンプルは、1つのResNet-18モデルで正しく分類することができる。
そこで本研究では,アンサンブル学習の有効性と効率を同時に最適化する推論効率の高いアンサンブル学習手法を提案する。
より具体的には、モデルのアンサンブルを逐次的推論プロセスとみなし、特定のサンプル上での推論の最適な停止イベントを学ぶ。
推論プロセスの各時間ステップにおいて、共通セレクタは、現在のアンサンブルがアンサンブルの有効性に達したかどうかを判断し、さらなる推論を停止する。
ベースモデルと共通セレクタを共同で最適化し、連続的なアンサンブルブースティングや計算節約を含む新しい最適化目標により、異なるサンプルのアンサンブル推論を動的に調整する。
実世界のデータセット上で異なるバックボーンを用いた実験により,本手法は,フルアンサンブルに匹敵する性能を維持しつつ,最大56\%の推論コスト削減を実現し,他のベースラインよりもかなり優れたアンサンブルユーティリティを実現する。
コードと補足資料はhttps://seqml.github.io/ireneで入手できる。
関連論文リスト
- Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Predicting Software Performance with Divide-and-Learn [3.635696352780227]
本稿では,DALと呼ばれる「分枝学習」の概念に基づくアプローチを提案する。
実世界の8つのシステムと5つのトレーニングデータによる実験結果から、DaLは40件中33件で最高のシステムよりもパフォーマンスが劣っていることが判明した。
論文 参考訳(メタデータ) (2023-06-11T11:16:27Z) - Progressive Ensemble Distillation: Building Ensembles for Efficient
Inference [32.60057845566007]
事前学習した教師モデルをより小さく、低推論コストの学生モデルに分解する。
結果として得られるアンサンブルは、実行時の推論コストに対して、柔軟に精度を調整できる。
標準画像,音声,センサデータセット間で事前学習したモデルを分解することで,B-DISTILの有効性を示す。
論文 参考訳(メタデータ) (2023-02-20T16:57:44Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - COLO: A Contrastive Learning based Re-ranking Framework for One-Stage
Summarization [84.70895015194188]
コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。
COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
論文 参考訳(メタデータ) (2022-09-29T06:11:21Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳(メタデータ) (2022-02-08T19:18:49Z) - NeuSE: A Neural Snapshot Ensemble Method for Collaborative Filtering [16.347327867397443]
協調的グローバルスナップショットフィルタリング(CF)データセットでは、最適なモデルは通常、すべての観測データに対する経験的リスクを世界規模で最小化することによって学習される。
本稿では,提案手法が比較的既存の協調手法に適用した場合の精度(最大15.9%)を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2021-04-15T06:43:40Z) - Practical Bayesian Optimization of Objectives with Conditioning
Variables [1.0497128347190048]
ユーザが複数の問題に直面している場合、状態変数に対してそれぞれを条件付きで最適化する必要がある場合を考える。
目的間の類似性は、それぞれの目的を2つの方法で最適化する。
本稿では条件最適化のためのフレームワークであるConBOを提案する。
論文 参考訳(メタデータ) (2020-02-23T22:06:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。