論文の概要: Proficient Graph Neural Network Design by Accumulating Knowledge on Large Language Models

• arxiv url: http://arxiv.org/abs/2408.06717v2
• Date: Mon, 21 Jul 2025 08:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.687393
• Title: Proficient Graph Neural Network Design by Accumulating Knowledge on Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識の蓄積による有能なグラフニューラルネットワーク設計
• Authors: Jialiang Wang, Hanmo Liu, Shimin Di, Zhili Wang, Jiachuan Wang, Lei Chen, Xiaofang Zhou,
• Abstract要約: DesiGNNは知識中心のフレームワークで、過去のモデル設計の経験を構造化されたきめ細かな知識に変換する。 目に見えないグラフ理解と既知の効果的なアーキテクチャパターンの固いメタ知識を構築することで、DesiGNNは、目に見えないデータセットに対するトップ5.77%の初期モデル提案を数秒で提供できる。
• 参考スコア（独自算出の注目度）: 20.31388126105889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-level automation is increasingly critical in AI, driven by rapid advances in large language models (LLMs) and AI agents. However, LLMs, despite their general reasoning power, struggle significantly in specialized, data-sensitive tasks such as designing Graph Neural Networks (GNNs). This difficulty arises from (1) the inherent knowledge gaps in modeling the intricate, varying relationships between graph properties and suitable architectures and (2) the external noise from misleading descriptive inputs, often resulting in generic or even misleading model suggestions. Achieving proficiency in designing data-aware models -- defined as the meta-level capability to systematically accumulate, interpret, and apply data-specific design knowledge -- remains challenging for existing automated approaches, due to their inefficient construction and application of meta-knowledge. To achieve the meta-level proficiency, we propose DesiGNN, a knowledge-centered framework that systematically converts past model design experiences into structured, fine-grained knowledge priors well fitted to meta-learning with LLMs. To account for the inherent variability and external noise, DesiGNN aligns empirical property filtering from extensive benchmarks with adaptive elicitation of literature insights via LLMs. By constructing a solid meta-knowledge between unseen graph understanding and known effective architecture patterns, DesiGNN can deliver top-5.77% initial model proposals for unseen datasets within seconds, and achieve consistently superior performance with minimal search costs against baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)とAIエージェントの急速な進歩によって、AIでは、ハイレベルな自動化がますます重要になっている。 しかし、LLMは一般的な推論能力にもかかわらず、グラフニューラルネットワーク(GNN)の設計など、特殊でデータに敏感なタスクにかなり苦労している。 この難しさは、(1)グラフ特性と適切なアーキテクチャの間の複雑で多様な関係をモデル化する際の固有の知識ギャップ、(2)誤解を招く記述的入力からの外部ノイズから生じ、しばしば一般的なあるいは誤解を招くモデル提案に至る。 データ認識モデルを設計する能力 – 体系的に蓄積し、解釈し、データ固有の設計知識を適用するメタレベル能力として定義されている – は、その非効率な構築とメタ知識の適用のため、既存の自動化アプローチでは依然として困難である。 メタレベルの習熟度を達成するために,従来のモデル設計経験を体系的に構造化された,きめ細かい知識に変換する知識中心のフレームワークであるDesiGNNを提案する。 固有の変動性と外部ノイズを考慮し、DesiGNNは、広範囲なベンチマークからの経験的特性フィルタリングと、LLMによる文学的洞察の適応的帰納とを整合させる。 目に見えないグラフ理解と既知の効果的なアーキテクチャパターンの固いメタ知識を構築することで、DesiGNNは、目に見えないデータセットに対するトップ5.77%の初期モデル提案を数秒で提供し、ベースラインに対して最小限の検索コストで一貫して優れたパフォーマンスを達成することができる。

関連論文リスト

• Quantizing Text-attributed Graphs for Semantic-Structural Integration [6.721504414917793]
  テキスト分散グラフ(TAG)は、様々な領域にわたる複雑な関係をモデル化するための強力な表現として登場した。 大規模言語モデル(LLM)の台頭に伴い、グラフ学習に彼らの能力を活用することへの関心が高まっている。 凍結したコードブックを用いて,グラフ構造情報を離散トークンに直接量子化する,新たな自己教師型フレームワークSTAGを提案する。
  論文  参考訳（メタデータ） (2025-07-20T09:18:02Z)
• Do We Really Need GNNs with Explicit Structural Modeling? MLPs Suffice for Language Model Representations [50.45261187796993]
  グラフニューラルネットワーク(GNN)は構造情報を十分に活用できないが、MLP(Multi-Layer Perceptrons)は構造認識タスクにおいて驚くべき能力を示す。 本稿では,情報理論の観点から総合的な探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-26T18:10:28Z)
• Injecting Knowledge Graphs into Large Language Models [0.0]
  我々は,大規模言語モデル内のグラフ埋め込みをトークンとして統合するエンコーディング技術を構築した。 我々のアプローチは、モデルに依存しず、リソース効率が良く、どのLLMとも互換性がある。
  論文  参考訳（メタデータ） (2025-05-12T13:31:26Z)
• Intelligent4DSE: Optimizing High-Level Synthesis Design Space Exploration with Graph Neural Networks and Large Language Models [3.8429489584622156]
  我々は,タスク適応型メッセージパッシングと大規模言語モデル拡張進化アルゴリズムをグラフニューラルネットワークに統合するフレームワークであるCoGNNs-LLMEAを提案する。 予測モデルとして、CoGNNはコンパイラフロントエンド処理後にソースコードから生成された中間表現を直接利用し、HLSツールを起動することなく結果の品質(QoR)の予測を可能にする。 CoGNNは、HLS後のQoR予測における最先端予測精度を実現し、平均予測誤差を2.8$times$と3.4$times$で削減する。
  論文  参考訳（メタデータ） (2025-04-28T10:08:56Z)
• GNNMerge: Merging of GNN Models Without Accessing Training Data [12.607714697138428]
  モデルのマージは、オリジナルのトレーニングデータにアクセスすることなく、複数のトレーニングされたモデルを単一のモデルに統合する方法として、機械学習において注目されている。 既存のアプローチはコンピュータビジョンやNLPのような領域で成功を示しており、グラフニューラルネットワーク(GNN)への応用は未解明のままである。 タスクに依存しないノード埋め込みアライメント戦略を用いてGNNをマージするGNNMergeを提案する。
  論文  参考訳（メタデータ） (2025-03-05T11:02:29Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Neurosymbolic AI approach to Attribution in Large Language Models [5.3454230926797734]
  ニューロシンボリックAI(NesyAI)は、ニューラルネットワークの強みと構造化されたシンボリック推論を組み合わせる。 本稿では、NesyAIフレームワークが既存の属性モデルをどのように拡張し、より信頼性が高く、解釈可能で、適応可能なシステムを提供するかを検討する。
  論文  参考訳（メタデータ） (2024-09-30T02:20:36Z)
• LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling [10.907949155931474]
  本稿では,グラフ構造モデリングと自然言語理解をトークンレベルで整合させるLangTopoを紹介する。 複数のデータセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-19T06:20:22Z)
• Unleash Graph Neural Networks from Heavy Tuning [33.948899558876604]
  グラフニューラルネットワーク(GNN)は、グラフ型データ用に設計されたディープラーニングアーキテクチャである。 本稿では,光チューニングされた粗い探索中に保存されたチェックポイントから学習することで,高性能なGNNを直接生成するグラフ条件付き潜時拡散フレームワーク(GNN-Diff)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:23:47Z)
• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Enabling Accelerators for Graph Computing [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学ぶための新しいパラダイムを提供する。 GNNは従来のニューラルネットワークと比較して新しい計算課題を提示している。 この論文は、GNNが基盤となるハードウェアとどのように相互作用するかをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-16T23:31:20Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass [10.839902229218577]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。 近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。 グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
  論文  参考訳（メタデータ） (2022-11-06T04:22:19Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Design Space for Graph Neural Networks [81.88707703106232]
  グラフニューラルネットワーク(GNN)のアーキテクチャ設計空間は,32種類の予測タスクに対して315,000の異なる設計で構成されている。 本研究の主な成果は,(1) 優れたGNNを設計するための包括的ガイドライン,(2) 異なるタスクに対する最高のGNN設計は著しく異なるが,GNNタスク空間は,異なるタスク間で最高の設計を転送することができる,(3) デザイン空間を用いて発見されたモデルが最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-11-17T18:59:27Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Architectural Implications of Graph Neural Networks [17.01480604968118]
  グラフニューラルネットワーク(GNN)は、グラフ構造を操作するディープラーニングモデルの新たなラインである。 GNNは、多層パーセプトロンや畳み込みニューラルネットワークなど、システムやアーキテクチャのコミュニティでは理解されていない。
  論文  参考訳（メタデータ） (2020-09-02T03:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。