論文の概要: FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer
- arxiv url: http://arxiv.org/abs/2403.12821v2
- Date: Thu, 21 Mar 2024 10:02:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 12:40:50.363732
- Title: FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer
- Title（参考訳）: FlowerFormer: Flow-aware Graph Transformerを用いたニューラルネットワークエンコーディング
- Authors: Dongyeong Hwang, Hyunju Kim, Sunwoo Kim, Kijung Shin,
- Abstract要約: 本稿では,ニューラルネットワーク内に情報フローを組み込んだ強力なグラフトランスフォーマーであるFlowerFormerを紹介する。
本研究では,既存のニューラルエンコーディング法よりもFlowerFormerの方が優れていることを示す。
- 参考スコア（独自算出の注目度）: 22.99322654701362
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The success of a specific neural network architecture is closely tied to the dataset and task it tackles; there is no one-size-fits-all solution. Thus, considerable efforts have been made to quickly and accurately estimate the performances of neural architectures, without full training or evaluation, for given tasks and datasets. Neural architecture encoding has played a crucial role in the estimation, and graphbased methods, which treat an architecture as a graph, have shown prominent performance. For enhanced representation learning of neural architectures, we introduce FlowerFormer, a powerful graph transformer that incorporates the information flows within a neural architecture. FlowerFormer consists of two key components: (a) bidirectional asynchronous message passing, inspired by the flows; (b) global attention built on flow-based masking. Our extensive experiments demonstrate the superiority of FlowerFormer over existing neural encoding methods, and its effectiveness extends beyond computer vision models to include graph neural networks and auto speech recognition models. Our code is available at http://github.com/y0ngjaenius/CVPR2024_FLOWERFormer.
- Abstract（参考訳）: 特定のニューラルネットワークアーキテクチャの成功は、それが取り組むデータセットとタスクに密接に結びついている。
したがって、与えられたタスクやデータセットに対して、完全なトレーニングや評価なしに、ニューラルネットワークのパフォーマンスを迅速かつ正確に見積もることに、かなりの努力が払われている。
ニューラルネットワークの符号化は推定において重要な役割を担い、アーキテクチャをグラフとして扱うグラフベースの手法は顕著な性能を示している。
ニューラルネットワークの表現学習を強化するために,ニューラルネットワーク内の情報フローを組み込んだ強力なグラフトランスフォーマーであるFlowerFormerを紹介する。
FlowerFormerは2つの重要なコンポーネントで構成されています。
(a)フローにインスパイアされた双方向非同期メッセージパッシング
(b)フローベースマスキングによる世界的注目。
我々の広範な実験は、既存のニューラルネットワークよりもFlowerFormerの方が優れており、その効果はコンピュータビジョンモデルを超えて、グラフニューラルネットワークや自動音声認識モデルを含む。
私たちのコードはhttp://github.com/y0ngjaenius/CVPR2024_FLOWERFormerで利用可能です。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Neural Architecture Retrieval [27.063268631346713]
我々は、クエリニューラルアーキテクチャに似た設計で既存のニューラルアーキテクチャの集合を検索するニューラルアーキテクチャ検索という新しい問題を定義する。
既存のグラフ事前学習戦略は、グラフのサイズとモチーフのため、ニューラルネットワークの計算グラフに対処できない。
正確なグラフ表現学習を実現するために,マルチレベルコントラスト学習を導入する。
論文 参考訳（メタデータ） (2023-07-16T01:56:41Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Learning through structure: towards deep neuromorphic knowledge graph
embeddings [0.5906031288935515]
本稿では,知識グラフ推論のための深層グラフ学習アーキテクチャをニューロモルフィックアーキテクチャにマッピングする戦略を提案する。
ランダムかつ未学習のグラフニューラルネットワークが局所的なグラフ構造を保存することができるという知見に基づいて、凍結したニューラルネットワークの浅い知識グラフ埋め込みモデルを構成する。
我々は,従来型のハードウェア上では,性能水準を維持しながら,高速化とメモリの大幅な削減を実現していることを示す。
論文 参考訳（メタデータ） (2021-09-21T18:01:04Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Hcore-Init: Neural Network Initialization based on Graph Degeneracy [22.923756039561194]
ディープラーニングアーキテクチャから抽出した全重み付きマルチパートグラフに対して,kコア構造の適応版を提案する。
多部グラフは双部グラフの組合せであり、ハイパーグラフの入射グラフであるので、k-ハイパーコア分解を設計する。
論文 参考訳（メタデータ） (2020-04-16T12:57:14Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。