論文の概要: On the Surprising Efficiency of Committee-based Models
- arxiv url: http://arxiv.org/abs/2012.01988v2
- Date: Thu, 18 Mar 2021 18:26:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 14:54:02.741284
- Title: On the Surprising Efficiency of Committee-based Models
- Title(参考訳): 委員会ベースモデルのサプライズ効率について
- Authors: Xiaofang Wang, Dan Kondratyuk, Eric Christiansen, Kris M. Kitani, Yair
Movshovitz-Attias, Elad Eban
- Abstract要約: 委員会ベースのモデルは、アーキテクチャをチューニングせずに優れた効率を達成するための補完的なパラダイムを提供する。
委員会ベースモデルの優れた効率性は、画像分類、ビデオ分類、セマンティックセグメンテーションなど、いくつかのタスクに当てはまる。
- 参考スコア(独自算出の注目度): 35.85796752622438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Committee-based models, i.e., model ensembles or cascades, are underexplored
in recent work on developing efficient models. While committee-based models
themselves are not new, there lacks a systematic understanding of their
efficiency in comparison with single models. To fill this gap, we conduct a
comprehensive analysis of the efficiency of committee-based models and find
that committee-based models provide a complementary paradigm to achieve
superior efficiency without tuning the architecture: a simple ensemble or
cascade of existing networks can be considerably more efficient than
state-of-the-art single models, even outperforming sophisticated neural
architecture search methods. The superior efficiency of committee-based models
holds true for several tasks, including image classification, video
classification, and semantic segmentation, and various architecture families,
such as EfficientNet, ResNet, MobileNetV2, and X3D.
- Abstract(参考訳): 委員会ベースのモデル、すなわちモデルアンサンブルやカスケードは、近年の効率的なモデル開発において過小評価されている。
委員会ベースのモデル自体は新しいものではないが、単一のモデルと比較して効率の体系的な理解が欠けている。
このギャップを埋めるために、委員会ベースのモデルの効率を包括的に分析し、委員会ベースのモデルがアーキテクチャをチューニングせずに優れた効率を達成するための補完的なパラダイムを提供することを発見した。
委員会ベースモデルの優れた効率性は、画像分類、ビデオ分類、セマンティックセグメンテーション、EfficientNet、ResNet、MobileNetV2、X3Dといった様々なアーキテクチャファミリなど、いくつかのタスクに当てはまる。
関連論文リスト
- A Lightweight Feature Fusion Architecture For Resource-Constrained Crowd
Counting [3.5066463427087777]
クラウドカウントモデルの汎用性を高めるために,2つの軽量モデルを導入する。
これらのモデルは、MobileNetとMobileViTという2つの異なるバックボーンを持ちながら、同じダウンストリームアーキテクチャを維持している。
隣接特徴融合を利用して、事前学習モデル(PTM)から多様な特徴を抽出し、その後、シームレスにこれらの特徴を組み合わせる。
論文 参考訳(メタデータ) (2024-01-11T15:13:31Z) - Co-training and Co-distillation for Quality Improvement and Compression
of Language Models [88.94539115180919]
知識蒸留(KD)は、知識をより小さなモデルに伝達することで、高価な事前訓練言語モデル(PLM)を圧縮する。
ほとんどの小型モデルはオリジナルの大型モデルの性能を上回ることができず、推論速度を改善するために性能を犠牲にする結果となった。
本稿では,2つのモデルを協調学習することで,性能と推論速度を共に向上する新しいフレームワークであるCTCDを提案する。
論文 参考訳(メタデータ) (2023-11-06T03:29:00Z) - One-stop Training of Multiple Capacity Models [74.87789190840527]
本稿では,高容量・低容量モデルとの共同学習のためのワンストップトレーニングフレームワークを提案する。
複数のキャパシティモデルをスクラッチから個別に訓練する知識蒸留とは異なり、我々の手法は異なるキャパシティモデルからの監督を同時に統合する。
論文 参考訳(メタデータ) (2023-05-23T13:44:09Z) - HCE: Improving Performance and Efficiency with Heterogeneously
Compressed Neural Network Ensemble [22.065904428696353]
最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。
我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
論文 参考訳(メタデータ) (2023-01-18T21:47:05Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-06-14T06:28:04Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-26T09:08:38Z) - One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search
Space Shrinking [97.60915598958968]
本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。
最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。
第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
論文 参考訳(メタデータ) (2021-04-01T16:29:49Z) - Be Your Own Best Competitor! Multi-Branched Adversarial Knowledge
Transfer [15.499267533387039]
提案手法は,高速な画像分類とエンコーダデコーダアーキテクチャの両方に特化しており,推論過程において余分な計算オーバーヘッドを発生させることなく,小型・コンパクトなモデルの性能を向上させる。
提案手法は, 従来の自己蒸留法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2020-10-09T11:57:45Z) - Collegial Ensembles [11.64359837358763]
我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。
また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2020-06-13T16:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。