論文の概要: Computation-friendly Graph Neural Network Design by Accumulating Knowledge on Large Language Models

• arxiv url: http://arxiv.org/abs/2408.06717v1
• Date: Tue, 13 Aug 2024 08:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 18:16:48.341211
• Title: Computation-friendly Graph Neural Network Design by Accumulating Knowledge on Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識の蓄積による計算フレンドリなグラフニューラルネットワークの設計
• Authors: Jialiang Wang, Shimin Di, Hanmo Liu, Zhili Wang, Jiachuan Wang, Lei Chen, Xiaofang Zhou,
• Abstract要約: グラフニューラルネットワーク(GNN)は目覚ましい成功を収めているが、アーキテクチャ設計の複雑さによって妨げられている。 人間の作業量を減らすために、研究者はGNNを設計するための自動アルゴリズムを開発しようとしている。
• 参考スコア（独自算出の注目度）: 20.31388126105889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs), like other neural networks, have shown remarkable success but are hampered by the complexity of their architecture designs, which heavily depend on specific data and tasks. Traditionally, designing proper architectures involves trial and error, which requires intensive manual effort to optimize various components. To reduce human workload, researchers try to develop automated algorithms to design GNNs. However, both experts and automated algorithms suffer from two major issues in designing GNNs: 1) the substantial computational resources expended in repeatedly trying candidate GNN architectures until a feasible design is achieved, and 2) the intricate and prolonged processes required for humans or algorithms to accumulate knowledge of the interrelationship between graphs, GNNs, and performance. To further enhance the automation of GNN architecture design, we propose a computation-friendly way to empower Large Language Models (LLMs) with specialized knowledge in designing GNNs, thereby drastically shortening the computational overhead and development cycle of designing GNN architectures. Our framework begins by establishing a knowledge retrieval pipeline that comprehends the intercorrelations between graphs, GNNs, and performance. This pipeline converts past model design experiences into structured knowledge for LLM reference, allowing it to quickly suggest initial model proposals. Subsequently, we introduce a knowledge-driven search strategy that emulates the exploration-exploitation process of human experts, enabling quick refinement of initial proposals within a promising scope. Extensive experiments demonstrate that our framework can efficiently deliver promising (e.g., Top-5.77%) initial model proposals for unseen datasets within seconds and without any prior training and achieve outstanding search performance in a few iterations.
• Abstract（参考訳）: 他のニューラルネットワークと同様、グラフニューラルネットワーク(GNN)も顕著な成功を収めているが、特定のデータやタスクに大きく依存するアーキテクチャ設計の複雑さによって妨げられている。 伝統的に、適切なアーキテクチャを設計するには試行錯誤が伴う。 人間の作業量を減らすために、研究者はGNNを設計するための自動アルゴリズムを開発しようとしている。 しかし、専門家と自動化アルゴリズムの両方が、GNNの設計において2つの大きな問題に悩まされている。 1) 実現可能な設計が達成されるまで、繰り返し試行するGNNアーキテクチャにおいて、実質的な計算資源 2) グラフ, GNN, 性能間の相互関係に関する知識を蓄積するために, 人やアルゴリズムが必要とする複雑で長期のプロセス。 GNNアーキテクチャ設計の自動化をさらに促進するため,GNNの設計に精通した大規模言語モデル(LLM)の強化を行い,GNNアーキテクチャ設計の計算オーバーヘッドと開発サイクルを大幅に短縮する手法を提案する。 我々のフレームワークは、グラフ、GNN、パフォーマンスの相互関係を理解する知識検索パイプラインを確立することから始まります。 このパイプラインは、過去のモデル設計の経験をLLM参照のための構造化知識に変換することで、初期モデルの提案を素早く提案することができる。 続いて,人間専門家の探索・探索過程をエミュレートする知識駆動型探索戦略を導入し,有望な範囲で提案を迅速に改善する。 大規模な実験により、我々のフレームワークは、望ましくないデータセットを数秒で提供し、事前のトレーニングをすることなく、数イテレーションで優れた検索性能を達成することができる(Top-5.77%など)。

関連論文リスト

• Unleash Graph Neural Networks from Heavy Tuning [33.948899558876604]
  グラフニューラルネットワーク(GNN)は、グラフ型データ用に設計されたディープラーニングアーキテクチャである。 本稿では,光チューニングされた粗い探索中に保存されたチェックポイントから学習することで,高性能なGNNを直接生成するグラフ条件付き潜時拡散フレームワーク(GNN-Diff)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:23:47Z)
• Enabling Accelerators for Graph Computing [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学ぶための新しいパラダイムを提供する。 GNNは従来のニューラルネットワークと比較して新しい計算課題を提示している。 この論文は、GNNが基盤となるハードウェアとどのように相互作用するかをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-16T23:31:20Z)
• Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass [10.839902229218577]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。 近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。 グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
  論文  参考訳（メタデータ） (2022-11-06T04:22:19Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Design Space for Graph Neural Networks [81.88707703106232]
  グラフニューラルネットワーク(GNN)のアーキテクチャ設計空間は,32種類の予測タスクに対して315,000の異なる設計で構成されている。 本研究の主な成果は,(1) 優れたGNNを設計するための包括的ガイドライン,(2) 異なるタスクに対する最高のGNN設計は著しく異なるが,GNNタスク空間は,異なるタスク間で最高の設計を転送することができる,(3) デザイン空間を用いて発見されたモデルが最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-11-17T18:59:27Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Architectural Implications of Graph Neural Networks [17.01480604968118]
  グラフニューラルネットワーク(GNN)は、グラフ構造を操作するディープラーニングモデルの新たなラインである。 GNNは、多層パーセプトロンや畳み込みニューラルネットワークなど、システムやアーキテクチャのコミュニティでは理解されていない。
  論文  参考訳（メタデータ） (2020-09-02T03:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。