論文の概要: Language Embedding Meets Dynamic Graph: A New Exploration for Neural Architecture Representation Learning

• arxiv url: http://arxiv.org/abs/2506.07735v1
• Date: Mon, 09 Jun 2025 13:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.963974
• Title: Language Embedding Meets Dynamic Graph: A New Exploration for Neural Architecture Representation Learning
• Title（参考訳）: Language EmbeddingがDynamic Graphを発表 - ニューラルネットワーク表現学習のための新たな探索
• Authors: Haizhao Jing, Haokui Zhang, Zhenhao Shang, Rong Xiao, Peng Wang, Yanning Zhang,
• Abstract要約: 本稿では,言語に基づくセマンティック埋め込みと動的グラフ表現学習の相乗的統合により,制約に対処する革新的なフレームワークであるLeDG-Formerを紹介する。 具体的には、ニューラルアーキテクチャとハードウェアプラットフォーム仕様の両方を統一的なセマンティック空間に投影する言語埋め込みフレームワークを提案する。 本フレームワークは,NAS-Bench-101とNAS-Bench-201データセットに対して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 38.323486764309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Representation Learning aims to transform network models into feature representations for predicting network attributes, playing a crucial role in deploying and designing networks for real-world applications. Recently, inspired by the success of transformers, transformer-based models integrated with Graph Neural Networks (GNNs) have achieved significant progress in representation learning. However, current methods still have some limitations. First, existing methods overlook hardware attribute information, which conflicts with the current trend of diversified deep learning hardware and limits the practical applicability of models. Second, current encoding approaches rely on static adjacency matrices to represent topological structures, failing to capture the structural differences between computational nodes, which ultimately compromises encoding effectiveness. In this paper, we introduce LeDG-Former, an innovative framework that addresses these limitations through the synergistic integration of language-based semantic embedding and dynamic graph representation learning. Specifically, inspired by large language models (LLMs), we propose a language embedding framework where both neural architectures and hardware platform specifications are projected into a unified semantic space through tokenization and LLM processing, enabling zero-shot prediction across different hardware platforms for the first time. Then, we propose a dynamic graph-based transformer for modeling neural architectures, resulting in improved neural architecture modeling performance. On the NNLQP benchmark, LeDG-Former surpasses previous methods, establishing a new SOTA while demonstrating the first successful cross-hardware latency prediction capability. Furthermore, our framework achieves superior performance on the cell-structured NAS-Bench-101 and NAS-Bench-201 datasets.
• Abstract（参考訳）: ニューラルネットワーク表現学習(Neural Architecture Representation Learning)は、ネットワークモデルをネットワーク属性を予測する機能表現に変換することを目的として、現実世界のアプリケーションのためのネットワークのデプロイと設計において重要な役割を果たす。 近年、変換器の成功に触発されて、グラフニューラルネットワーク(GNN)と統合された変換器ベースのモデルは、表現学習において大きな進歩を遂げている。 しかし、現在のメソッドにはいくつかの制限がある。 第一に、既存の手法はハードウェア属性情報を見落とし、これは現在の多様化したディープラーニングハードウェアの傾向と矛盾し、モデルの実用性を制限する。 第二に、現在の符号化アプローチは、トポロジ構造を表現するために静的な隣接行列に依存しており、計算ノード間の構造的差異を捉えることができず、最終的に符号化の有効性を損なう。 本稿では,言語に基づくセマンティック埋め込みと動的グラフ表現学習の相乗的統合により,これらの制約に対処する革新的なフレームワークであるLeDG-Formerを紹介する。 具体的には,大規模言語モデル(LLM)にインスパイアされた言語埋め込みフレームワークを提案する。ニューラルアーキテクチャとハードウェアプラットフォーム仕様の両方をトークン化とLLM処理を通じて統一的なセマンティック空間に投影し,異なるハードウェアプラットフォーム間でゼロショット予測を可能にする。 そこで我々は,ニューラルアーキテクチャをモデル化するための動的グラフベーストランスフォーマーを提案し,その結果,ニューラルアーキテクチャモデリング性能が向上した。 NNLQPベンチマークでは、LeDG-Formerが従来の手法を上回り、新しいSOTAを確立しながら、最初のハードウェア間レイテンシ予測機能を成功させた。 さらに, セル構造NAS-Bench-101およびNAS-Bench-201データセットにおいて, 優れた性能を実現する。

関連論文リスト

• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。 我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning [25.197394237526865]
  本稿では,トランスフォーマーに基づく汎用ニューラルネットワーク表現学習モデル NAR-Former V2 を提案する。 具体的には、ネットワークをグラフとして取り、簡単なトークン化器を設計して、ネットワークをシーケンスにエンコードする。 我々は,GNNの帰納的表現学習能力をTransformerに組み込んだ。
  論文  参考訳（メタデータ） (2023-06-19T09:11:04Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。