論文の概要: Multi-objective Differentiable Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2402.18213v2
• Date: Wed, 19 Jun 2024 12:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 04:59:27.318341
• Title: Multi-objective Differentiable Neural Architecture Search
• Title（参考訳）: 多目的微分可能なニューラルアーキテクチャ探索
• Authors: Rhea Sanjay Sukthanker, Arber Zela, Benedikt Staffler, Samuel Dooley, Josif Grabocka, Frank Hutter,
• Abstract要約: 本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
• 参考スコア（独自算出の注目度）: 58.67218773054753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pareto front profiling in multi-objective optimization (MOO), i.e. finding a diverse set of Pareto optimal solutions, is challenging, especially with expensive objectives like neural network training. Typically, in MOO neural architecture search (NAS), we aim to balance performance and hardware metrics across devices. Prior NAS approaches simplify this task by incorporating hardware constraints into the objective function, but profiling the Pareto front necessitates a computationally expensive search for each constraint. In this work, we propose a novel NAS algorithm that encodes user preferences for the trade-off between performance and hardware metrics, and yields representative and diverse architectures across multiple devices in just one search run. To this end, we parameterize the joint architectural distribution across devices and multiple objectives via a hypernetwork that can be conditioned on hardware features and preference vectors, enabling zero-shot transferability to new devices. Extensive experiments with up to 19 hardware devices and 3 objectives showcase the effectiveness and scalability of our method. Finally, we show that, without extra costs, our method outperforms existing MOO NAS methods across a broad range of qualitatively different search spaces and datasets, including MobileNetV3 on ImageNet-1k, an encoder-decoder transformer space for machine translation and a decoder-only transformer space for language modelling.
• Abstract（参考訳）: 多目的最適化(MOO)におけるパレートフロントプロファイリング、すなわち多様なパレート最適解を見つけることは、特にニューラルネットワークトレーニングのような高価な目的において困難である。 通常、MOOニューラルアーキテクチャサーチ(NAS)では、デバイス間でパフォーマンスとハードウェアメトリクスのバランスをとることを目的としています。 従来のNASアプローチでは、ハードウェア制約を対象関数に組み込むことで、このタスクを単純化するが、Paretoフロントをプロファイリングするには、計算的に高価な各制約の探索が必要である。 本研究では,NASアルゴリズムを提案する。NASアルゴリズムは,性能とハードウェアのトレードオフを符号化し,複数のデバイスにまたがる代表的かつ多様なアーキテクチャを1回の検索で生成する。 この目的のために、ハードウェアの特徴や嗜好ベクトルに条件付け可能なハイパーネットワークを用いて、デバイス間の共同アーキテクチャ分布と複数の目的をパラメータ化し、新しいデバイスへのゼロショット転送を可能にする。 最大19個のハードウェアデバイスと3つの目標を用いた大規模な実験により,本手法の有効性とスケーラビリティが示された。 最後に,画像Net-1k上のMobileNetV3や,機械翻訳用エンコーダ・デコーダ変換空間,言語モデリング用デコーダのみのトランスフォーマ空間など,定性的に異なる検索空間やデータセットで既存のMOO NASメソッドよりも優れていることを示す。

関連論文リスト

• Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity [12.52012450501367]
  ハードウェア対応のニューラルネットワーク探索アプローチ(HW-NAS)は、特定のターゲットハードウェアプラットフォームに特化して設計されたディープラーニングアーキテクチャの設計を自動化する。 これらの技術は、主に特定アーキテクチャの性能を評価するための高価なプロセスのために、かなりの計算資源を必要とする。 計算コストの低い単一ランでアーキテクチャのトレードオフセットを特定するために,MO-HDNASと呼ばれるHW-NAS問題に対処する多目的手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T15:32:58Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Search-time Efficient Device Constraints-Aware Neural Architecture Search [6.527454079441765]
  コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。 ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:52:28Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms [10.11289927237036]
  微分可能なニューラルアーキテクチャサーチ(NAS)は、競合するディープニューラルネットワーク(DNN)を自動設計する最も有力な代替品として進化してきた。 我々は、LightNASと呼ばれる軽量ハードウェア対応の差別化可能なNASフレームワークを導入し、ワンタイム検索によって必要なアーキテクチャを見つけ出そうとしている。 従来の最先端技術よりもLightNASの方が優れていることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-30T02:23:23Z)
• Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs [10.680700357879601]
  ニューラルアーキテクチャサーチ(NAS)は、オンデバイスMLアクセラレーターによって提供される高い計算スループットを効率的に活用するために救助される。 既存のNASフレームワークには、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。 i)モデルコスト評価、探索空間設計、および様々なデバイス上でのMLタスクを迅速にターゲットするアルゴリズムと、(ii)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間を分離するニューラルネットワークアーキテクチャ。
  論文  参考訳（メタデータ） (2022-04-09T00:35:19Z)
• Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets [93.79297053429447]
  既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。 モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-27T13:59:17Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• NAS-Count: Counting-by-Density with Neural Architecture Search [74.92941571724525]
  ニューラルアーキテクチャサーチ(NAS)を用いたカウントモデルの設計を自動化する エンド・ツー・エンドの検索エンコーダ・デコーダアーキテクチャであるAutomatic Multi-Scale Network(AMSNet)を導入する。
  論文  参考訳（メタデータ） (2020-02-29T09:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。