論文の概要: Toward Edge-Efficient Dense Predictions with Synergistic Multi-Task Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2210.01384v1
• Date: Tue, 4 Oct 2022 04:49:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 13:05:26.030908
• Title: Toward Edge-Efficient Dense Predictions with Synergistic Multi-Task Neural Architecture Search
• Title（参考訳）: 相乗的マルチタスクニューラルアーキテクチャ探索によるエッジ効率高密度予測に向けて
• Authors: Thanh Vu, Yanqi Zhou, Chunfeng Wen, Yueqi Li, Jan-Michael Frahm
• Abstract要約: エッジプラットフォーム上で効率的な高密度予測を開発する上での課題に対処する,新しい,スケーラブルなソリューションを提案する。 最初の重要な洞察は、マルチタスクラーニング(MTL)とハードウェア対応のニューラルアーキテクチャサーチ(NAS)が、デバイス上のディエンス予測(DP)に多大な利益をもたらすためにシナジーで機能できることである。 JAReDは、望ましくないノイズの最大88%を低減し、同時に精度を向上する。
• 参考スコア（独自算出の注目度）: 22.62389136288258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a novel and scalable solution to address the challenges of developing efficient dense predictions on edge platforms. Our first key insight is that MultiTask Learning (MTL) and hardware-aware Neural Architecture Search (NAS) can work in synergy to greatly benefit on-device Dense Predictions (DP). Empirical results reveal that the joint learning of the two paradigms is surprisingly effective at improving DP accuracy, achieving superior performance over both the transfer learning of single-task NAS and prior state-of-the-art approaches in MTL, all with just 1/10th of the computation. To the best of our knowledge, our framework, named EDNAS, is the first to successfully leverage the synergistic relationship of NAS and MTL for DP. Our second key insight is that the standard depth training for multi-task DP can cause significant instability and noise to MTL evaluation. Instead, we propose JAReD, an improved, easy-to-adopt Joint Absolute-Relative Depth loss, that reduces up to 88% of the undesired noise while simultaneously boosting accuracy. We conduct extensive evaluations on standard datasets, benchmark against strong baselines and state-of-the-art approaches, as well as provide an analysis of the discovered optimal architectures.
• Abstract（参考訳）: 本稿では,エッジプラットフォーム上で効率的な高密度予測を実現するための,新しいスケーラブルなソリューションを提案する。 最初の重要な洞察は、マルチタスク学習(MTL)とハードウェア対応のニューラルアーキテクチャサーチ(NAS)が、デバイス上でのDense Predictions(DP)に多大な利益をもたらすためにシナジーで機能できるということです。 実験結果から,2つのパラダイムの合同学習はDP精度の向上に驚くほど有効であり,単一タスクNASの伝達学習とMTLにおける先行技術アプローチの双方に対して,計算の1/10で優れた性能を発揮することがわかった。 我々の知る限り、私たちのフレームワークであるEDNASは、DPのためのNASとMLLの相乗的関係をうまく活用した最初のフレームワークです。 第2の鍵となる洞察は、マルチタスクDPの標準深度トレーニングは、MTL評価に重大な不安定性とノイズを引き起こす可能性があることである。 そこで本研究では,提案手法を改良し,最大88%の雑音を低減し,同時に精度を高めたjaredを提案する。 我々は、標準データセットの広範な評価、強力なベースラインと最先端アプローチに対するベンチマーク、そして発見された最適なアーキテクチャの分析を行う。

関連論文リスト

• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Fast Neural Architecture Search for Lightweight Dense Prediction Networks [41.605107921584775]
  本稿では,軽量な高密度予測ニューラルアーキテクチャサーチ(NAS)フレームワーク LDP を提案する。 定義済みの一般的なバックボーンから始めて、LDPは効率的なアーキテクチャ探索のためにAssisted Tabu Searchという小説を適用した。 実験の結果,提案したフレームワークは,テスト済みの高密度予測タスクに対して一貫した改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2022-03-03T20:17:10Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• CM-NAS: Cross-Modality Neural Architecture Search for Visible-Infrared Person Re-Identification [102.89434996930387]
  VI-ReIDは、暗い環境での単一モダリティ人物ReIDの制限を突破し、クロスモダリティ歩行者のイメージを一致させることを目指しています。 既存の作品は、さまざまな2ストリームアーキテクチャを手動で設計して、モダリティ固有およびモダリティシャーブル表現を別々に学習する。 CM-NAS(Cross-Modality Neural Architecture Search)という手法を提案する。
  論文  参考訳（メタデータ） (2021-01-21T07:07:00Z)
• EQ-Net: A Unified Deep Learning Framework for Log-Likelihood Ratio Estimation and Quantization [25.484585922608193]
  EQ-Netは,データ駆動手法を用いてログ類似度(LLR)推定と量子化の両課題を解決する,最初の包括的フレームワークである。 広範な実験評価を行い,両タスクにおいて単一アーキテクチャが最先端の成果を達成できることを実証する。
  論文  参考訳（メタデータ） (2020-12-23T18:11:30Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。