論文の概要: AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2303.07669v1
• Date: Tue, 14 Mar 2023 07:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 16:07:04.977828
• Title: AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks
• Title（参考訳）: AutoTransfer: 知識伝達を備えたAutoML - グラフニューラルネットワークへの応用
• Authors: Kaidi Cao, Jiaxuan You, Jiaju Liu, Jure Leskovec
• Abstract要約: AutoML技術は、各タスクをスクラッチから独立して考慮し、高い計算コストをもたらす。 本稿では,従来の設計知識を新たな関心事に伝達することで,検索効率を向上させるAutoTransferを提案する。
• 参考スコア（独自算出の注目度）: 75.11008617118908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AutoML has demonstrated remarkable success in finding an effective neural architecture for a given machine learning task defined by a specific dataset and an evaluation metric. However, most present AutoML techniques consider each task independently from scratch, which requires exploring many architectures, leading to high computational cost. Here we propose AutoTransfer, an AutoML solution that improves search efficiency by transferring the prior architectural design knowledge to the novel task of interest. Our key innovation includes a task-model bank that captures the model performance over a diverse set of GNN architectures and tasks, and a computationally efficient task embedding that can accurately measure the similarity among different tasks. Based on the task-model bank and the task embeddings, we estimate the design priors of desirable models of the novel task, by aggregating a similarity-weighted sum of the top-K design distributions on tasks that are similar to the task of interest. The computed design priors can be used with any AutoML search algorithm. We evaluate AutoTransfer on six datasets in the graph machine learning domain. Experiments demonstrate that (i) our proposed task embedding can be computed efficiently, and that tasks with similar embeddings have similar best-performing architectures; (ii) AutoTransfer significantly improves search efficiency with the transferred design priors, reducing the number of explored architectures by an order of magnitude. Finally, we release GNN-Bank-101, a large-scale dataset of detailed GNN training information of 120,000 task-model combinations to facilitate and inspire future research.
• Abstract（参考訳）: AutoMLは、特定のデータセットと評価指標によって定義された所定の機械学習タスクに対して、効果的なニューラルアーキテクチャを見つけるのに顕著な成功を収めた。 しかし、現在のAutoML技術のほとんどは、各タスクをスクラッチから独立して考慮しており、多くのアーキテクチャを探索する必要がある。 本稿では,先行設計知識を新たな課題に移し,検索効率を向上させるautomlソリューションであるautotransferを提案する。 私たちの重要なイノベーションは、GNNアーキテクチャとタスクの多様なセットでモデルパフォーマンスをキャプチャするタスクモデルバンクと、異なるタスク間の類似性を正確に測定する計算効率の良いタスク埋め込みです。 タスクモデルバンクとタスク埋め込みに基づいて、興味のあるタスクに類似したタスクに基づいてトップK設計分布の類似度重み付け和を集約することにより、新しいタスクの望ましいモデルの設計優先順位を推定する。 計算済みの設計先は任意のAutoML検索アルゴリズムで使用することができる。 グラフ機械学習領域の6つのデータセット上でAutoTransferを評価する。 実験が示すのは (i)提案するタスク組込みは効率的に計算でき、同様の組込みを持つタスクも同様に優れたアーキテクチャを有する。 (II) AutoTransferは, 先行設計による探索効率を著しく向上させ, 探索アーキテクチャの規模を桁違いに削減する。 最後に、GNN-Bank-101をリリースし、GNNの詳細なトレーニング情報を12万のタスクモデルの組み合わせで収集し、今後の研究を促進する。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• A Tree-Structured Multi-Task Model Recommender [25.445073413243925]
  木構造型マルチタスクアーキテクチャは、マルチタスク学習(MTL)のコンテキストにおいて、複数の視覚タスクに取り組むために採用されている。 本稿では,モデルトレーニングを行なわずにユーザ指定の計算予算を満たしながら高いタスク性能を実現することができる木構造マルチタスクアーキテクチャを提案する。 一般的なMTLベンチマークの大規模な評価は、推奨アーキテクチャが最先端のMTL手法と比較して、競合するタスク精度と計算効率を達成できることを示している。
  論文  参考訳（メタデータ） (2022-03-10T00:09:43Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Neural Architecture Search From Fr\'echet Task Distance [50.9995960884133]
  与えられたベースラインタスクのセット内の対象タスクと各タスクの間の距離を、ターゲットタスクのニューラルネットワークアーキテクチャ検索スペースを減らすためにどのように使用できるかを示す。 タスク固有のアーキテクチャに対する検索空間の複雑さの低減は、このサイド情報を用いることなく完全な検索を行う代わりに、類似したタスクのために最適化されたアーキテクチャ上に構築することで達成される。
  論文  参考訳（メタデータ） (2021-03-23T20:43:31Z)
• NASirt: AutoML based learning with instance-level complexity information [0.0]
  我々は、スペクトルデータセットの高精度CNNアーキテクチャを見つけるAutoML手法であるNASirtを提案する。 我々の手法は、ほとんどの場合、ベンチマークよりも優れた性能を示し、平均精度は97.40%に達する。
  論文  参考訳（メタデータ） (2020-08-26T22:21:44Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• NeurAll: Towards a Unified Visual Perception Model for Automated Driving [8.49826472556323]
  本稿では,複数のタスクを同時に学習するためのマルチタスクネットワーク設計を提案する。 自動運転システムの主なボトルネックは、デプロイメントハードウェアで利用可能な限られた処理能力である。
  論文  参考訳（メタデータ） (2019-02-10T12:45:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。