論文の概要: Collaboration of Experts: Achieving 80% Top-1 Accuracy on ImageNet with 100M FLOPs

• arxiv url: http://arxiv.org/abs/2107.03815v1
• Date: Thu, 8 Jul 2021 12:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-09 13:45:10.903613
• Title: Collaboration of Experts: Achieving 80% Top-1 Accuracy on ImageNet with 100M FLOPs
• Title（参考訳）: エキスパートのコラボレーション:100万のFLOPでImageNetで80%トップ1の精度を達成する
• Authors: Yikang Zhang, Zhuo Chen, Zhao Zhong
• Abstract要約: 我々は,複数のネットワークの専門知識を共通の目的にまとめるために,CoE(Collaboration of Experts)フレームワークを提案する。 提案手法は画像ネットの最先端性能を80.7%, FLOP194Mで達成する。 本手法はハードウェアフレンドリーであり,既存の条件付き手法と比較して3～6倍の高速化を実現している。
• 参考スコア（独自算出の注目度）: 16.111864278627113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a Collaboration of Experts (CoE) framework to pool together the expertise of multiple networks towards a common aim. Each expert is an individual network with expertise on a unique portion of the dataset, which enhances the collective capacity. Given a sample, an expert is selected by the delegator, which simultaneously outputs a rough prediction to support early termination. To fulfill this framework, we propose three modules to impel each model to play its role, namely weight generation module (WGM), label generation module (LGM) and variance calculation module (VCM). Our method achieves the state-of-the-art performance on ImageNet, 80.7% top-1 accuracy with 194M FLOPs. Combined with PWLU activation function and CondConv, CoE further achieves the accuracy of 80.0% with only 100M FLOPs for the first time. More importantly, our method is hardware friendly and achieves a 3-6x speedup compared with some existing conditional computation approaches.
• Abstract（参考訳）: 本稿では,複数のネットワークの専門知識を共通の目的にまとめるために,CoE(Collaboration of Experts)フレームワークを提案する。 各専門家は、データセットのユニークな部分に関する専門知識を持つ個々のネットワークであり、集合的な能力を高める。 サンプルが与えられたら、専門家はデリゲータによって選択され、同時に早期終了をサポートするために粗い予測が出力される。 この枠組みを実現するために, 重み生成モジュール (wgm), ラベル生成モジュール (lgm), 分散計算モジュール (vcm) という, それぞれのモデルに役割を果たすよう促す3つのモジュールを提案する。 提案手法は画像ネットの最先端性能を80.7%, FLOP194Mで達成する。 PWLUアクティベーション関数とCondConvを組み合わせることで、CoEは100MのFLOPで80.0%の精度を初めて達成する。 さらに,本手法はハードウェアフレンドリーであり,既存の条件計算手法と比較して3～6倍の高速化を実現している。

関連論文リスト

• MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
  MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-10-09T18:01:27Z)
• EffiSegNet: Gastrointestinal Polyp Segmentation through a Pre-Trained EfficientNet-based Network with a Simplified Decoder [0.8892527836401773]
  EffiSegNetは、トレーニング済みの畳み込みニューラルネットワーク(CNN)をバックボーンとして、トランスファーラーニングを活用する新しいセグメンテーションフレームワークである。 Kvasir-SEGデータセットを用いて消化管ポリープセグメンテーションタスクの評価を行い,その成果を得た。
  論文  参考訳（メタデータ） (2024-07-23T08:54:55Z)
• Towards a Generalist and Blind RGB-X Tracker [91.36268768952755]
  我々は、推論時間中に任意のモダリティ X を無視できる単一のモデルトラッカーを開発する。 トレーニングプロセスは非常にシンプルで,複数ラベルの分類損失をルーティング関数に統合する。 我々のジェネラリストとブラインドトラッカーは、確立されたモーダル固有モデルと比較して、競争性能を達成することができる。
  論文  参考訳（メタデータ） (2024-05-28T03:00:58Z)
• Exploiting Inter-Layer Expert Affinity for Accelerating Mixture-of-Experts Model Inference [3.217776693788795]
  本稿では,事前学習したMoEモデルの推論を高速化するために,ExFlowと呼ばれる軽量な最適化手法を提案する。 層間エキスパート親和性を利用して, 微調整や精度の低下を伴わずに, 事前学習したMoEモデルに直接適用することができる。 我々のソリューションは、8から64のエキスパートによる最先端のMoE実装を破り、推論スループットを最大2.2倍改善しました。
  論文  参考訳（メタデータ） (2024-01-16T14:16:47Z)
• FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of Autonomous Driving [20.037562671813]
  FusionADは、最も重要なセンサー、カメラ、LiDARからの情報を融合する最初の統合フレームワークです。 カメラベースのエンドツーエンドUniADに対して、FMSと呼ばれるモダリティ対応の予測ステータス計画モジュールを融合支援する手法を確立する。 我々は、一般的に使用されているベンチマークnuのデータセット、我々の最先端性能、検出や追跡などの認識タスクにおける平均15%のベースライン、占有率の10%の予測精度、予測誤差の0.708から0.389の削減、衝突率の0.31%の削減など、幅広い実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T08:29:44Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders [104.05133094625137]
  完全畳み込み型マスク付きオートエンコーダフレームワークと,新たなグローバル応答正規化層を提案する。 この自己教師付き学習技術とアーキテクチャ改善の共設計により、純粋なConvNetの性能を大幅に向上させるConvNeXt V2と呼ばれる新しいモデルファミリが生まれる。
  論文  参考訳（メタデータ） (2023-01-02T18:59:31Z)
• Deep Model Reassembly [60.6531819328247]
  我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。 DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。 ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-24T10:16:13Z)
• Efficient Context-Aware Network for Abdominal Multi-organ Segmentation [8.92337236455273]
  腹腔内多臓器分画を効果的かつ効果的に行うための網羅的粗粒化フレームワークを開発した。 デコーダモジュールでは、k*k*1のスライス内畳み込みと1*1*kのスライス間畳み込みによる異方性畳み込みが、負担を軽減するように設計されている。 コンテキストブロックに対して、異方性と長距離のコンテキスト情報をキャプチャするためのストリッププーリングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-09-22T09:05:59Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• BasisNet: Two-stage Model Synthesis for Efficient Inference [39.34855162835054]
  効率的なニューラルネットワークアーキテクチャの最近の進歩、条件計算、早期終了をシンプルな新しい形式で組み合わせたBasisNetを紹介します。 提案手法では,入力に依存した組合せ係数のプレビューと生成を行う軽量モデルを導入し,その後,より正確なスペシャリストモデルの合成を制御し,最終的な予測を行う。 ImageNet分類ベンチマークでは、BasisNetとMobileNetsをバックボーンとして、精度と効率のトレードオフに明確な優位性を示しました。
  論文  参考訳（メタデータ） (2021-05-07T00:21:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。