論文の概要: Multi-Task Neural Architecture Search Using Architecture Embedding and Transfer Rank

• arxiv url: http://arxiv.org/abs/2504.00772v1
• Date: Tue, 01 Apr 2025 13:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:25:36.593599
• Title: Multi-Task Neural Architecture Search Using Architecture Embedding and Transfer Rank
• Title（参考訳）: アーキテクチャ埋め込みと転送ランクを用いたマルチタスクニューラルアーキテクチャ探索
• Authors: TingJie Zhang, HaiLin Liu,
• Abstract要約: マルチタスクニューラルアーキテクチャサーチ(NAS)は、異なるタスク間でアーキテクチャ知識の伝達を可能にする。 我々は、トランスファー効率を高めるために、進化的クロスタスクNASアルゴリズムであるKTNASを提案する。 実験の結果、KTNASは探索効率と下流タスク性能においてピアマルチタスクNASアルゴリズムより優れていた。
• 参考スコア（独自算出の注目度）: 0.21485350418225244
• License:
• Abstract: Multi-task neural architecture search (NAS) enables transferring architectural knowledge among different tasks. However, ranking disorder between the source task and the target task degrades the architecture performance on the downstream task. We propose KTNAS, an evolutionary cross-task NAS algorithm, to enhance transfer efficiency. Our data-agnostic method converts neural architectures into graphs and uses architecture embedding vectors for the subsequent architecture performance prediction. The concept of transfer rank, an instance-based classifier, is introduced into KTNAS to address the performance degradation issue. We verify the search efficiency on NASBench-201 and transferability to various vision tasks on Micro TransNAS-Bench-101. The scalability of our method is demonstrated on DARTs search space including CIFAR-10/100, MNIST/Fashion-MNIST, MedMNIST. Experimental results show that KTNAS outperforms peer multi-task NAS algorithms in search efficiency and downstream task performance. Ablation studies demonstrate the vital importance of transfer rank for transfer performance.
• Abstract（参考訳）: マルチタスクニューラルアーキテクチャサーチ(NAS)は、異なるタスク間でアーキテクチャ知識の伝達を可能にする。 しかし、ソースタスクとターゲットタスクのランク付け障害は、下流タスクのアーキテクチャ性能を低下させる。 我々は、トランスファー効率を高めるために、進化的クロスタスクNASアルゴリズムであるKTNASを提案する。 データに依存しない手法では,ニューラルネットワークをグラフに変換し,アーキテクチャの埋め込みベクトルを用いてその後のアーキテクチャ性能予測を行う。 インスタンスベースの分類器である転送ランクの概念がKTNASに導入され、性能劣化問題に対処する。 我々はNASBench-201の探索効率とMicro TransNAS-Bench-101上の様々な視覚タスクへの転送性を検証する。 本手法のスケーラビリティは,CIFAR-10/100,MNIST/Fashion-MNIST,MedMNISTなどのDART検索空間上で実証される。 実験の結果、KTNASは探索効率と下流タスク性能においてピアマルチタスクNASアルゴリズムより優れていた。 アブレーション研究は、転送性能における転送ランクの重要性を証明している。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• Warm-starting DARTS using meta-learning [4.035753155957698]
  ニューラルネットワークサーチ(NAS)は、自動機械学習(AutoML)の分野で大きな可能性を秘めている。 微分可能アーキテクチャサーチ(DARTS)のためのメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-12T20:40:26Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search [98.22779489340869]
  本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。 セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。 7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
  論文  参考訳（メタデータ） (2021-05-25T12:15:21Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。