論文の概要: Towards Inference Efficient Deep Ensemble Learning

• arxiv url: http://arxiv.org/abs/2301.12378v1
• Date: Sun, 29 Jan 2023 06:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 17:24:57.444730
• Title: Towards Inference Efficient Deep Ensemble Learning
• Title（参考訳）: 効率的な深層学習をめざして
• Authors: Ziyue Li, Kan Ren, Yifan Yang, Xinyang Jiang, Yuqing Yang, Dongsheng Li
• Abstract要約: アンサンブル法は驚くべき性能向上をもたらすが、計算コストも大幅に高くなる。 本研究では,アンサンブル学習における効率と効率を同時に最適化する,推論効率のよいアンサンブル学習手法を提案する。 実世界のデータセットで異なるバックボーンを用いた実験は、我々の手法が推論コストを最大56%削減できることを示している。
• 参考スコア（独自算出の注目度）: 35.1550905788943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble methods can deliver surprising performance gains but also bring significantly higher computational costs, e.g., can be up to 2048X in large-scale ensemble tasks. However, we found that the majority of computations in ensemble methods are redundant. For instance, over 77% of samples in CIFAR-100 dataset can be correctly classified with only a single ResNet-18 model, which indicates that only around 23% of the samples need an ensemble of extra models. To this end, we propose an inference efficient ensemble learning method, to simultaneously optimize for effectiveness and efficiency in ensemble learning. More specifically, we regard ensemble of models as a sequential inference process and learn the optimal halting event for inference on a specific sample. At each timestep of the inference process, a common selector judges if the current ensemble has reached ensemble effectiveness and halt further inference, otherwise filters this challenging sample for the subsequent models to conduct more powerful ensemble. Both the base models and common selector are jointly optimized to dynamically adjust ensemble inference for different samples with various hardness, through the novel optimization goals including sequential ensemble boosting and computation saving. The experiments with different backbones on real-world datasets illustrate our method can bring up to 56\% inference cost reduction while maintaining comparable performance to full ensemble, achieving significantly better ensemble utility than other baselines. Code and supplemental materials are available at https://seqml.github.io/irene.
• Abstract（参考訳）: アンサンブルメソッドは驚くべきパフォーマンス向上をもたらすが、大規模なアンサンブルタスクでは最大2048倍の計算コストをもたらす。 しかし,アンサンブル法における計算の大半は冗長であることがわかった。 例えば、CIFAR-100データセットの77%以上のサンプルは、1つのResNet-18モデルで正しく分類することができる。 そこで本研究では,アンサンブル学習の有効性と効率を同時に最適化する推論効率の高いアンサンブル学習手法を提案する。 より具体的には、モデルのアンサンブルを逐次的推論プロセスとみなし、特定のサンプル上での推論の最適な停止イベントを学ぶ。 推論プロセスの各時間ステップにおいて、共通セレクタは、現在のアンサンブルがアンサンブルの有効性に達したかどうかを判断し、さらなる推論を停止する。 ベースモデルと共通セレクタを共同で最適化し、連続的なアンサンブルブースティングや計算節約を含む新しい最適化目標により、異なるサンプルのアンサンブル推論を動的に調整する。 実世界のデータセット上で異なるバックボーンを用いた実験により,本手法は,フルアンサンブルに匹敵する性能を維持しつつ,最大56\%の推論コスト削減を実現し,他のベースラインよりもかなり優れたアンサンブルユーティリティを実現する。 コードと補足資料はhttps://seqml.github.io/ireneで入手できる。

関連論文リスト

• Scaling LLM Inference with Optimized Sample Compute Allocation [56.524278187351925]
  我々は、異なる推論構成の最適な混合を見つけるアルゴリズムであるOSCAを提案する。 実験の結果,学習した混合アロケーションでは,最高の単一構成よりも精度がよいことがわかった。 OSCAはシングルターンタスク以外のエージェント処理にも有効であることが示されており、デフォルト設定よりも3倍少ない計算でSWE-Benchの精度が向上している。
  論文  参考訳（メタデータ） (2024-10-29T19:17:55Z)
• Dividable Configuration Performance Learning [4.949726352498762]
  本稿では,DaLと呼ばれる構成性能を予測するためのモデルに依存しない,スパース性ロバストなフレームワークを提案する。 DaLは、"diide-and-learn"を使ってモデルを構築する、分割可能な学習の新しいパラダイムに基づいている。
  論文  参考訳（メタデータ） (2024-09-11T21:23:23Z)
• Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
  サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。 このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
  論文  参考訳（メタデータ） (2024-06-25T16:52:37Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Predicting Software Performance with Divide-and-Learn [3.635696352780227]
  本稿では,DALと呼ばれる「分枝学習」の概念に基づくアプローチを提案する。 実世界の8つのシステムと5つのトレーニングデータによる実験結果から、DaLは40件中33件で最高のシステムよりもパフォーマンスが劣っていることが判明した。
  論文  参考訳（メタデータ） (2023-06-11T11:16:27Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization [84.70895015194188]
  コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。 COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
  論文  参考訳（メタデータ） (2022-09-29T06:11:21Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Practical Bayesian Optimization of Objectives with Conditioning Variables [1.0497128347190048]
  ユーザが複数の問題に直面している場合、状態変数に対してそれぞれを条件付きで最適化する必要がある場合を考える。 目的間の類似性は、それぞれの目的を2つの方法で最適化する。 本稿では条件最適化のためのフレームワークであるConBOを提案する。
  論文  参考訳（メタデータ） (2020-02-23T22:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。