論文の概要: MO-EMT-NAS: Multi-Objective Continuous Transfer of Architectural Knowledge Between Tasks from Different Datasets
- arxiv url: http://arxiv.org/abs/2407.13122v1
- Date: Thu, 18 Jul 2024 03:12:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 18:53:59.370735
- Title: MO-EMT-NAS: Multi-Objective Continuous Transfer of Architectural Knowledge Between Tasks from Different Datasets
- Title（参考訳）: MO-EMT-NAS: 異なるデータセットからのタスク間のアーキテクチャ知識の多目的連続転送
- Authors: Peng Liao, XiLu Wang, Yaochu Jin, WenLi Du,
- Abstract要約: 本研究では,NAS(MO-EMT-NAS)のための多目的マルチタスクフレームワークを提案する。
我々は,MO-EMT-NASがモデル性能と複雑性のトレードオフを柔軟に実現しつつ,最小限の分類誤差を改善することを示す。
MO-EMT-NASのランタイムは、対応する多目的シングルタスクアプローチと比較して59.7%から77.7%に削減されている。
- 参考スコア（独自算出の注目度）: 25.981865225297813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying models across diverse devices demands tradeoffs among multiple objectives due to different resource constraints. Arguably, due to the small model trap problem in multi-objective neural architecture search (MO-NAS) based on a supernet, existing approaches may fail to maintain large models. Moreover, multi-tasking neural architecture search (MT-NAS) excels in handling multiple tasks simultaneously, but most existing efforts focus on tasks from the same dataset, limiting their practicality in real-world scenarios where multiple tasks may come from distinct datasets. To tackle the above challenges, we propose a Multi-Objective Evolutionary Multi-Tasking framework for NAS (MO-EMT-NAS) to achieve architectural knowledge transfer across tasks from different datasets while finding Pareto optimal architectures for multi-objectives, model accuracy and computational efficiency. To alleviate the small model trap issue, we introduce an auxiliary objective that helps maintain multiple larger models of similar accuracy. Moreover, the computational efficiency is further enhanced by parallelizing the training and validation of the weight-sharing-based supernet. Experimental results on seven datasets with two, three, and four task combinations show that MO-EMT-NAS achieves a better minimum classification error while being able to offer flexible trade-offs between model performance and complexity, compared to the state-of-the-art single-objective MT-NAS algorithms. The runtime of MO-EMT-NAS is reduced by 59.7% to 77.7%, compared to the corresponding multi-objective single-task approaches.
- Abstract（参考訳）: 多様なデバイスにモデルをデプロイする場合、リソースの制約が異なるため、複数の目標間のトレードオフが要求される。
スーパーネットに基づく多目的ニューラルアーキテクチャサーチ(MO-NAS)における小さなモデルトラップ問題のため、既存のアプローチでは大きなモデルを維持することができない可能性がある。
さらに、MT-NAS(Multi-tasking Neural Architecture Search)は、複数のタスクを同時に扱うことができるが、既存の取り組みは、同じデータセットからのタスクに重点を置いている。
このような課題に対処するため,NAS(MO-EMT-NAS)のための多目的進化型マルチタスクフレームワークを提案する。
モデルトラップの問題を軽減するために,複数の大きなモデルの類似した精度維持を支援する補助的目的を導入する。
さらに、ウェイトシェアリングベースのスーパーネットのトレーニングと検証を並列化することにより、計算効率をさらに向上する。
2、3、4つのタスクの組み合わせを持つ7つのデータセットの実験結果から、MO-EMT-NASは、最先端の単一目的のMT-NASアルゴリズムと比較して、モデル性能と複雑性の間の柔軟なトレードオフを提供しながら、より優れた最小限の分類誤差を達成することが示された。
MO-EMT-NASのランタイムは、対応する多目的シングルタスクアプローチと比較して59.7%から77.7%に削減されている。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-05-29T05:20:38Z) - Efficient Architecture Search for Diverse Tasks [29.83517145790238]
多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。
本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。
DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
論文 参考訳（メタデータ） (2022-04-15T17:21:27Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳（メタデータ） (2022-03-28T17:56:40Z) - Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。
従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。
本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T00:54:27Z) - Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。
共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。
異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
論文 参考訳（メタデータ） (2021-07-23T17:26:40Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。