論文の概要: Do We Really Need GNNs with Explicit Structural Modeling? MLPs Suffice for Language Model Representations

• arxiv url: http://arxiv.org/abs/2506.21682v1
• Date: Thu, 26 Jun 2025 18:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:22.964914
• Title: Do We Really Need GNNs with Explicit Structural Modeling? MLPs Suffice for Language Model Representations
• Title（参考訳）: 明示的構造モデリングを伴うGNNは本当に必要か? MLPは言語モデル表現に十分か
• Authors: Li Zhou, Hao Jiang, Junjie Li, Zefeng Zhao, Feng Jiang, Wenyu Chen, Haizhou Li,
• Abstract要約: グラフニューラルネットワーク(GNN)は構造情報を十分に活用できないが、MLP(Multi-Layer Perceptrons)は構造認識タスクにおいて驚くべき能力を示す。 本稿では,情報理論の観点から総合的な探索フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 50.45261187796993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explicit structural information has been proven to be encoded by Graph Neural Networks (GNNs), serving as auxiliary knowledge to enhance model capabilities and improve performance in downstream NLP tasks. However, recent studies indicate that GNNs fail to fully utilize structural information, whereas Multi-Layer Perceptrons (MLPs), despite lacking the message-passing mechanisms inherent to GNNs, exhibit a surprising ability in structure-aware tasks. Motivated by these findings, this paper introduces a comprehensive probing framework from an information-theoretic perspective. The framework is designed to systematically assess the role of explicit structural modeling in enhancing language model (LM) representations and to investigate the potential of MLPs as efficient and scalable alternatives to GNNs. We extend traditional probing classifiers by incorporating a control module that allows for selective use of either the full GNN model or its decoupled components, specifically, the message-passing and feature-transformation operations.This modular approach isolates and assesses the individual contributions of these operations, avoiding confounding effects from the complete GNN architecture. Using the Edge Probing Suite, a diagnostic tool for evaluating the linguistic knowledge encoded in LMs, we find that MLPs, when used as feature-transformation modules, consistently improve the linguistic knowledge captured in LM representations across different architectures. They effectively encode both syntactic and semantic patterns. Similarly, GNNs that incorporate feature-transformation operations show beneficial effects. In contrast, models that rely solely on message-passing operations tend to underperform, often leading to negative impacts on probing task performance.
• Abstract（参考訳）: 構造情報はグラフニューラルネットワーク(GNN)によって符号化され、モデル機能を強化し、下流のNLPタスクのパフォーマンスを向上させる補助的な知識として役立っていることが証明されている。 しかし、近年の研究では、GNNは構造情報を完全に活用できないことが示されているが、Multi-Layer Perceptrons(MLP)は、GNN固有のメッセージパッシング機構が欠如しているにもかかわらず、構造認識タスクにおいて驚くべき能力を示す。 これらの知見に触発され,情報理論の観点から総合的な探索フレームワークを導入する。 このフレームワークは、言語モデル(LM)表現の強化における明示的な構造モデリングの役割を体系的に評価し、GNNの効率的でスケーラブルな代替手段としてのMLPの可能性を調べるために設計されている。 本稿では,全GNNモデルあるいはその分離されたコンポーネント,具体的にはメッセージパスと特徴変換操作のいずれかを選択的に使用するための制御モジュールを組み込むことにより,従来のプロブリング分類器を拡張した。このモジュールアプローチは,これらの操作の個々のコントリビューションを分離し評価し,完全なGNNアーキテクチャからの干渉を避ける。 LMで符号化された言語知識を評価するための診断ツールであるEdge Probing Suiteを用いて,MLPが特徴変換モジュールとして使用される場合,異なるアーキテクチャにわたるLM表現で取得した言語知識を一貫して改善することを発見した。 セマンティックパターンとセマンティックパターンの両方を効果的にエンコードする。 同様に、特徴変換操作を組み込んだGNNは有益な効果を示す。 対照的に、メッセージパッシング操作にのみ依存するモデルは性能が劣る傾向にあり、多くの場合、タスクパフォーマンスの探索に悪影響を及ぼす。

関連論文リスト

• LLM Enhancers for GNNs: An Analysis from the Perspective of Causal Mechanism Identification [19.389891710579022]
  グラフニューラルネットワーク(GNN)の入力として使用されるノード表現を最適化する機能拡張器として,大規模言語モデル(LLM)を用いて検討する。 解析結果に基づいて,LLMエンハンサーとGNN間の情報伝達を改善するためのプラグアンドプレイ最適化モジュールを設計する。
  論文  参考訳（メタデータ） (2025-05-13T06:29:25Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• Unleashing the potential of GNNs via Bi-directional Knowledge Transfer [58.64807174714959]
  Bi-directional Knowledge Transfer (BiKT) は、オリジナルのアーキテクチャを変更することなく、機能変換操作の可能性を解き放つためのプラグイン・アンド・プレイ方式である。 BiKTはオリジナルのGNNよりも0.5%-4%パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-26T04:11:49Z)
• Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks [48.14324895100478]
  ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。 CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。 実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-04T09:50:07Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。