論文の概要: Multi-path Neural Networks for On-device Multi-domain Visual Classification

• arxiv url: http://arxiv.org/abs/2010.04904v2
• Date: Fri, 8 Jan 2021 08:02:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:18:01.283050
• Title: Multi-path Neural Networks for On-device Multi-domain Visual Classification
• Title（参考訳）: オンデバイスマルチドメイン視覚分類のためのマルチパスニューラルネットワーク
• Authors: Qifei Wang, Junjie Ke, Joshua Greaves, Grace Chu, Gabriel Bender, Luciano Sbaiz, Alec Go, Andrew Howard, Feng Yang, Ming-Hsuan Yang, Jeff Gilbert, and Peyman Milanfar
• Abstract要約: 本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
• 参考スコア（独自算出の注目度）: 55.281139434736254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning multiple domains/tasks with a single model is important for improving data efficiency and lowering inference cost for numerous vision tasks, especially on resource-constrained mobile devices. However, hand-crafting a multi-domain/task model can be both tedious and challenging. This paper proposes a novel approach to automatically learn a multi-path network for multi-domain visual classification on mobile devices. The proposed multi-path network is learned from neural architecture search by applying one reinforcement learning controller for each domain to select the best path in the super-network created from a MobileNetV3-like search space. An adaptive balanced domain prioritization algorithm is proposed to balance optimizing the joint model on multiple domains simultaneously. The determined multi-path model selectively shares parameters across domains in shared nodes while keeping domain-specific parameters within non-shared nodes in individual domain paths. This approach effectively reduces the total number of parameters and FLOPS, encouraging positive knowledge transfer while mitigating negative interference across domains. Extensive evaluations on the Visual Decathlon dataset demonstrate that the proposed multi-path model achieves state-of-the-art performance in terms of accuracy, model size, and FLOPS against other approaches using MobileNetV3-like architectures. Furthermore, the proposed method improves average accuracy over learning single-domain models individually, and reduces the total number of parameters and FLOPS by 78% and 32% respectively, compared to the approach that simply bundles single-domain models for multi-domain learning.
• Abstract（参考訳）: 単一のモデルで複数のドメイン/タスクを学習することは、データ効率を改善し、多くのビジョンタスク、特にリソース制約のあるモバイルデバイスの推論コストを下げるために重要である。 しかし、マルチドメイン/タスクモデルを作るのは面倒で難しい。 本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各領域に1つの強化学習コントローラを適用し,mobilenetv3ライクな検索空間から生成されたスーパーネットワークの最適経路を選択することで,ニューラルネットワーク検索から学習される。 複数の領域の結合モデルを同時に最適化するために,適応的平衡領域優先順位付けアルゴリズムを提案する。 決定されたマルチパスモデルは、各ドメインパス内の非共有ノードにドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間のパラメータを選択的に共有する。 このアプローチは、パラメータの総数とFLOPSを効果的に削減し、ドメイン間の負の干渉を緩和しながら、ポジティブな知識伝達を促進する。 visual decathlonデータセットの広範な評価により、提案されたマルチパスモデルは、mobilenetv3ライクなアーキテクチャを用いた他のアプローチに対して、精度、モデルサイズ、フラップの観点から最先端のパフォーマンスを達成できることが示されている。 さらに,単ドメインモデルの学習における平均精度を個別に向上させ,マルチドメイン学習のための単ドメインモデルをバンドルするアプローチと比較して,パラメータ数とフラップの総数をそれぞれ78%,32%削減する。

関連論文リスト

• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• M3BAT: Unsupervised Domain Adaptation for Multimodal Mobile Sensing with Multi-Branch Adversarial Training [5.128670847334003]
  マルチモーダルモバイルセンシングは、健康、健康、行動、文脈に関する推論に広く用いられている。 トレーニングセット内のデータの分布は、実世界のデータの分布、デプロイメント環境と異なる。 M3BATは,マルチブランチ対向学習を用いたマルチモーダル・モバイルセンシングのための教師なしドメイン適応である。
  論文  参考訳（メタデータ） (2024-04-26T13:09:35Z)
• SepRep-Net: Multi-source Free Domain Adaptation via Model Separation And Reparameterization [75.74369886582394]
  本稿では,SepRep-Netと呼ばれる新しいフレームワークを提案する。 SepRep-Netは複数の既存モデルを統合ネットワークに再組み立て、別々の経路(分離)を維持した。 SepRep-Net は、1) 効果、2) 目標領域での競争性能、2) 効率、低い計算コスト、3) 一般化可能性、既存のソリューションよりも多くのソース知識を維持する。
  論文  参考訳（メタデータ） (2024-02-13T06:35:00Z)
• Multi-Domain Learning with Modulation Adapters [33.54630534228469]
  マルチドメイン学習は、複数のドメインにまたがる画像分類など、関連するタスクを同時に処理することを目的としている。 変調アダプタは、各タスクに対して乗法的にモデルの畳み込み重みを更新する。 我々のアプローチは、既存の最先端のアプローチと同等かそれ以上の精度で、優れた結果をもたらす。
  論文  参考訳（メタデータ） (2023-07-17T14:40:16Z)
• DynaGAN: Dynamic Few-shot Adaptation of GANs to Multiple Domains [26.95350186287616]
  複数のドメインへのドメイン適応は、いくつかのトレーニングイメージから複数のドメインにまたがる複雑なイメージ分布を学習することを目的としている。 複数のターゲットドメインに対する新規な数ショットドメイン適応法であるDynaGANを提案する。
  論文  参考訳（メタデータ） (2022-11-26T12:46:40Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Multi-Source Domain Adaptation for Object Detection [52.87890831055648]
  我々は、Divide-and-Merge Spindle Network (DMSN)と呼ばれる、より高速なR-CNNベースのフレームワークを提案する。 DMSNはドメイン非ネイティブを同時に強化し、識別力を維持することができる。 擬似目標部分集合の最適パラメータを近似する新しい擬似学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-30T03:17:20Z)
• Not all domains are equally complex: Adaptive Multi-Domain Learning [98.25886129591974]
  深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。 提案手法は,パラメータ数をはるかに削減しながら,元の手法と同等に動作する。
  論文  参考訳（メタデータ） (2020-03-25T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。