論文の概要: Neural Architecture Retrieval

• arxiv url: http://arxiv.org/abs/2307.07919v2
• Date: Mon, 18 Mar 2024 01:13:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:12:33.460980
• Title: Neural Architecture Retrieval
• Title（参考訳）: ニューラルアーキテクチャ検索
• Authors: Xiaohuan Pei, Yanxi Li, Minjing Dong, Chang Xu,
• Abstract要約: 我々は、クエリニューラルアーキテクチャに似た設計で既存のニューラルアーキテクチャの集合を検索するニューラルアーキテクチャ検索という新しい問題を定義する。 既存のグラフ事前学習戦略は、グラフのサイズとモチーフのため、ニューラルネットワークの計算グラフに対処できない。 正確なグラフ表現学習を実現するために,マルチレベルコントラスト学習を導入する。
• 参考スコア（独自算出の注目度）: 27.063268631346713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing number of new neural architecture designs and substantial existing neural architectures, it becomes difficult for the researchers to situate their contributions compared with existing neural architectures or establish the connections between their designs and other relevant ones. To discover similar neural architectures in an efficient and automatic manner, we define a new problem Neural Architecture Retrieval which retrieves a set of existing neural architectures which have similar designs to the query neural architecture. Existing graph pre-training strategies cannot address the computational graph in neural architectures due to the graph size and motifs. To fulfill this potential, we propose to divide the graph into motifs which are used to rebuild the macro graph to tackle these issues, and introduce multi-level contrastive learning to achieve accurate graph representation learning. Extensive evaluations on both human-designed and synthesized neural architectures demonstrate the superiority of our algorithm. Such a dataset which contains 12k real-world network architectures, as well as their embedding, is built for neural architecture retrieval.
• Abstract（参考訳）: 新しいニューラルアーキテクチャの設計が増え、既存のニューラルアーキテクチャがかなり存在するため、研究者が既存のニューラルアーキテクチャと比較してコントリビューションを絞り込むことや、デザインと他の関連するアーキテクチャとの接続を確立することは難しくなる。 類似したニューラルアーキテクチャを効率的かつ自動的に発見するために,クエリニューラルアーキテクチャに類似した設計を持つ既存のニューラルアーキテクチャの集合を検索するニューラルアーキテクチャ検索という新たな問題を定義する。 既存のグラフ事前学習戦略は、グラフのサイズとモチーフのため、ニューラルネットワークの計算グラフに対処できない。 この可能性を達成するために,これらの問題に対処するためにマクログラフを再構築するために使用されるモチーフにグラフを分割し,正確なグラフ表現学習を実現するためにマルチレベルコントラスト学習を導入することを提案する。 人間の設計と合成の両方のニューラルネットワークアーキテクチャの大規模な評価は、我々のアルゴリズムの優位性を示している。 12万の現実世界のネットワークアーキテクチャと、その埋め込みを含むデータセットは、ニューラルネットワークの検索のために構築されている。

関連論文リスト

• Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
  10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。 ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。 構造は違いをもたらすのか、それとも任意に選択できるのか?
  論文  参考訳（メタデータ） (2024-10-12T16:13:28Z)
• Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
  教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。 本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。 我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-03-08T05:23:55Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Architecture Agnostic Neural Networks [33.803822613725984]
  バックプロパゲーションによってトレーニングされていないアーキテクチャに依存しないニューラルネットワークのファミリーを作成します。 これらの高い性能のネットワークファミリーは、同じ空間性、二分重の分布を共有し、静的タスクと動的タスクの両方に成功している。
  論文  参考訳（メタデータ） (2020-11-05T09:04:07Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。