論文の概要: NN-Former: Rethinking Graph Structure in Neural Architecture Representation

• arxiv url: http://arxiv.org/abs/2507.00880v1
• Date: Tue, 01 Jul 2025 15:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.711454
• Title: NN-Former: Rethinking Graph Structure in Neural Architecture Representation
• Title（参考訳）: NN-Former: ニューラルネットワーク表現におけるグラフ構造の再考
• Authors: Ruihan Xu, Haokui Zhang, Yaowei Wang, Wei Zeng, Shiliang Zhang,
• Abstract要約: グラフニューラルネットワーク(GNN)とトランスフォーマーは、ニューラルネットワークを表現する上で有望なパフォーマンスを示している。 これまでの研究で見過ごされている間、兄弟ノードは中心的であることを示す。 我々のアプローチは、精度と遅延予測の両方において、常に有望な性能を達成する。
• 参考スコア（独自算出の注目度）: 67.3378579108611
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The growing use of deep learning necessitates efficient network design and deployment, making neural predictors vital for estimating attributes such as accuracy and latency. Recently, Graph Neural Networks (GNNs) and transformers have shown promising performance in representing neural architectures. However, each of both methods has its disadvantages. GNNs lack the capabilities to represent complicated features, while transformers face poor generalization when the depth of architecture grows. To mitigate the above issues, we rethink neural architecture topology and show that sibling nodes are pivotal while overlooked in previous research. We thus propose a novel predictor leveraging the strengths of GNNs and transformers to learn the enhanced topology. We introduce a novel token mixer that considers siblings, and a new channel mixer named bidirectional graph isomorphism feed-forward network. Our approach consistently achieves promising performance in both accuracy and latency prediction, providing valuable insights for learning Directed Acyclic Graph (DAG) topology. The code is available at https://github.com/XuRuihan/NNFormer.
• Abstract（参考訳）: ディープラーニングの利用の増加は、効率的なネットワーク設計とデプロイメントを必要とし、精度やレイテンシなどの属性を推定するのに神経予測器が不可欠である。 最近、グラフニューラルネットワーク(GNN)とトランスフォーマーは、ニューラルアーキテクチャを表現する上で有望なパフォーマンスを示している。 しかし、どちらの方法にも欠点がある。 GNNは複雑な機能を表現できないが、アーキテクチャの深さが大きくなると、トランスフォーマーは一般化に苦慮する。 上記の問題を緩和するため、我々はニューラルアーキテクチャのトポロジーを再考し、以前の研究で見過ごされながら、兄弟ノードが中心であることを示す。 そこで我々は,GNNとトランスフォーマーの強みを活かした新しい予測器を提案し,拡張トポロジを学習する。 兄弟関係を考慮した新しいトークンミキサーと、双方向グラフ同型フィードフォワードネットワークという新しいチャネルミキサーを導入する。 提案手法は精度と遅延予測の両方において有望な性能を継続的に達成し,DAG(Directed Acyclic Graph)トポロジの学習に有用な洞察を提供する。 コードはhttps://github.com/XuRuihan/NNFormer.comで入手できる。

関連論文リスト

• Investigating Sparsity in Recurrent Neural Networks [0.0]
  本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
  論文  参考訳（メタデータ） (2024-07-30T07:24:58Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。