論文の概要: Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2204.05941v1
• Date: Tue, 12 Apr 2022 16:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 12:12:56.361706
• Title: Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search
• Title（参考訳）: Arch-Graph: Task-Transferable Neural Architecture Searchのための非循環アーキテクチャ関係予測器
• Authors: Minbin Huang, Zhijian Huang, Changlin Li, Xin Chen, Hang Xu, Zhenguo Li, Xiaodan Liang
• Abstract要約: Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
• 参考スコア（独自算出の注目度）: 96.31315520244605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) aims to find efficient models for multiple tasks. Beyond seeking solutions for a single task, there are surging interests in transferring network design knowledge across multiple tasks. In this line of research, effectively modeling task correlations is vital yet highly neglected. Therefore, we propose \textbf{Arch-Graph}, a transferable NAS method that predicts task-specific optimal architectures with respect to given task embeddings. It leverages correlations across multiple tasks by using their embeddings as a part of the predictor's input for fast adaptation. We also formulate NAS as an architecture relation graph prediction problem, with the relational graph constructed by treating candidate architectures as nodes and their pairwise relations as edges. To enforce some basic properties such as acyclicity in the relational graph, we add additional constraints to the optimization process, converting NAS into the problem of finding a Maximal Weighted Acyclic Subgraph (MWAS). Our algorithm then strives to eliminate cycles and only establish edges in the graph if the rank results can be trusted. Through MWAS, Arch-Graph can effectively rank candidate models for each task with only a small budget to finetune the predictor. With extensive experiments on TransNAS-Bench-101, we show Arch-Graph's transferability and high sample efficiency across numerous tasks, beating many NAS methods designed for both single-task and multi-task search. It is able to find top 0.16\% and 0.29\% architectures on average on two search spaces under the budget of only 50 models.
• Abstract（参考訳）: Neural Architecture Search (NAS)は、複数のタスクの効率的なモデルを見つけることを目的としている。 単一のタスクに対するソリューションを求めるだけでなく、ネットワーク設計の知識を複数のタスクに渡すことへの関心が高まっている。 この研究では、タスク相関を効果的にモデル化することは不可欠であるが、非常に無視されている。 そこで本稿では,タスク固有の最適アーキテクチャを与えられたタスク埋め込みに対して予測する,転送可能なNAS手法である‘textbf{Arch-Graph}’を提案する。 高速適応のための予測器の入力の一部として組込みを使用することで、複数のタスクにまたがる相関を利用する。 また,候補アーキテクチャをノードとして扱い,その対関係をエッジとして扱う関係グラフを用いて,nasをアーキテクチャ関係グラフ予測問題として定式化する。 関係グラフにおける非巡回性などの基本的な性質を強制するために、最適化プロセスにさらなる制約を加え、NASを最大重み付き非巡回部分グラフ(MWAS)を見つける問題に変換する。 このアルゴリズムはサイクルを排除し、ランク結果が信頼できる場合にのみグラフのエッジを確立するよう努力する。 MWASを通じてArch-Graphは、予測器を微調整するための小さな予算だけで、各タスクの候補モデルを効果的にランク付けすることができる。 TransNAS-Bench-101の広範な実験により、Arch-Graphのトランスファービリティと多数のタスクにわたる高サンプリング効率が示され、単一タスクとマルチタスク検索の両方のために設計された多くのNASメソッドを上回った。 2つの検索空間で平均で 0.16\% と 0.29\% のアーキテクチャを、たった 50 モデルの予算で見つけることができる。

関連論文リスト

• Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification [48.334100429553644]
  本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:37Z)
• Subgraph Matching via Query-Conditioned Subgraph Matching Neural Networks and Bi-Level Tree Search [33.9052190473029]
  サブグラフマッチングは、グラフデータベース検索、バイオメディカル分析、ソーシャルグループ検索などにおける中核的な操作である。 本稿では,クエリと対象グラフのマッチング情報を動的に計算する,新しいエンコーダ・デコーダニューラルネットワークアーキテクチャを提案する。 5つの大きな実世界のターゲットグラフの実験により、N-BLSはサブグラフマッチング性能を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2022-07-21T04:47:21Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• RAN-GNNs: breaking the capacity limits of graph neural networks [43.66682619000099]
  グラフニューラルネットワークは、グラフ上で定義されたデータの学習と分析に対処する問題の中心となっている。 最近の研究では、複数の近隣サイズを同時に考慮し、適応的にそれらを調整する必要があるためです。 ランダムに配線されたアーキテクチャを用いることで、ネットワークの容量を増大させ、よりリッチな表現を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-29T12:34:36Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。