論文の概要: On the Surprising Efficiency of Committee-based Models

• arxiv url: http://arxiv.org/abs/2012.01988v2
• Date: Thu, 18 Mar 2021 18:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 14:54:02.741284
• Title: On the Surprising Efficiency of Committee-based Models
• Title（参考訳）: 委員会ベースモデルのサプライズ効率について
• Authors: Xiaofang Wang, Dan Kondratyuk, Eric Christiansen, Kris M. Kitani, Yair Movshovitz-Attias, Elad Eban
• Abstract要約: 委員会ベースのモデルは、アーキテクチャをチューニングせずに優れた効率を達成するための補完的なパラダイムを提供する。 委員会ベースモデルの優れた効率性は、画像分類、ビデオ分類、セマンティックセグメンテーションなど、いくつかのタスクに当てはまる。
• 参考スコア（独自算出の注目度）: 35.85796752622438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Committee-based models, i.e., model ensembles or cascades, are underexplored in recent work on developing efficient models. While committee-based models themselves are not new, there lacks a systematic understanding of their efficiency in comparison with single models. To fill this gap, we conduct a comprehensive analysis of the efficiency of committee-based models and find that committee-based models provide a complementary paradigm to achieve superior efficiency without tuning the architecture: a simple ensemble or cascade of existing networks can be considerably more efficient than state-of-the-art single models, even outperforming sophisticated neural architecture search methods. The superior efficiency of committee-based models holds true for several tasks, including image classification, video classification, and semantic segmentation, and various architecture families, such as EfficientNet, ResNet, MobileNetV2, and X3D.
• Abstract（参考訳）: 委員会ベースのモデル、すなわちモデルアンサンブルやカスケードは、近年の効率的なモデル開発において過小評価されている。 委員会ベースのモデル自体は新しいものではないが、単一のモデルと比較して効率の体系的な理解が欠けている。 このギャップを埋めるために、委員会ベースのモデルの効率を包括的に分析し、委員会ベースのモデルがアーキテクチャをチューニングせずに優れた効率を達成するための補完的なパラダイムを提供することを発見した。 委員会ベースモデルの優れた効率性は、画像分類、ビデオ分類、セマンティックセグメンテーション、EfficientNet、ResNet、MobileNetV2、X3Dといった様々なアーキテクチャファミリなど、いくつかのタスクに当てはまる。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• A Lightweight Feature Fusion Architecture For Resource-Constrained Crowd Counting [3.5066463427087777]
  クラウドカウントモデルの汎用性を高めるために,2つの軽量モデルを導入する。 これらのモデルは、MobileNetとMobileViTという2つの異なるバックボーンを持ちながら、同じダウンストリームアーキテクチャを維持している。 隣接特徴融合を利用して、事前学習モデル(PTM)から多様な特徴を抽出し、その後、シームレスにこれらの特徴を組み合わせる。
  論文  参考訳（メタデータ） (2024-01-11T15:13:31Z)
• Co-training and Co-distillation for Quality Improvement and Compression of Language Models [88.94539115180919]
  知識蒸留(KD)は、知識をより小さなモデルに伝達することで、高価な事前訓練言語モデル(PLM)を圧縮する。 ほとんどの小型モデルはオリジナルの大型モデルの性能を上回ることができず、推論速度を改善するために性能を犠牲にする結果となった。 本稿では,2つのモデルを協調学習することで,性能と推論速度を共に向上する新しいフレームワークであるCTCDを提案する。
  論文  参考訳（メタデータ） (2023-11-06T03:29:00Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Collegial Ensembles [11.64359837358763]
  我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。 また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。