論文の概要: Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners

• arxiv url: http://arxiv.org/abs/2511.10234v1
• Date: Fri, 14 Nov 2025 01:40:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.76097
• Title: Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners
• Title（参考訳）: シリアライゼーションにおける損失: LLMグラフ共振器の不変性と一般化
• Authors: Daniel Herbst, Lea Karbeska, Divyanshu Kumar, Akanksha Ahuja, Fatemeh Gholamzadeh Nasrabadi, Fabrizio Frasca,
• Abstract要約: 本研究は,微調整が認識不能なタスクのエンコーディングや一般化に与える影響について検討する。 微調整によりノードの遅延に対する感度は低下するが、構造やフォーマットのバリエーションに増大する可能性がある。
• 参考スコア（独自算出の注目度）: 6.278331411655425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While promising, graph reasoners based on Large Language Models (LLMs) lack built-in invariance to symmetries in graph representations. Operating on sequential graph serializations, LLMs can produce different outputs under node reindexing, edge reordering, or formatting changes, raising robustness concerns. We systematically analyze these effects, studying how fine-tuning impacts encoding sensitivity as well generalization on unseen tasks. We propose a principled decomposition of graph serializations into node labeling, edge encoding, and syntax, and evaluate LLM robustness to variations of each of these factors on a comprehensive benchmarking suite. We also contribute a novel set of spectral tasks to further assess generalization abilities of fine-tuned reasoners. Results show that larger (non-fine-tuned) models are more robust. Fine-tuning reduces sensitivity to node relabeling but may increase it to variations in structure and format, while it does not consistently improve performance on unseen tasks.
• Abstract（参考訳）: 有望ではあるが、Large Language Models (LLMs) に基づくグラフ推論には、グラフ表現における対称性に対する不変性が組み込まれていない。 シーケンシャルグラフのシリアライゼーションを運用することで、LLMはノードの再インデックス、エッジのリオーダー、あるいはフォーマット変更の下で異なる出力を生成することができ、ロバストネスの懸念を生じさせる。 我々はこれらの効果を系統的に分析し、微調整によるエンコーディングの感度への影響と、目に見えないタスクの一般化について研究した。 本稿では,グラフのシリアライゼーションをノードラベル,エッジエンコーディング,構文に分解し,これらの因子の変動に対するLCMのロバスト性を総合ベンチマークスイートで評価する。 我々はまた、微調整された推論器の一般化能力をさらに評価するために、新しいスペクトルタスクのセットにも貢献する。 結果は、より大きな(非微調整の)モデルの方がより堅牢であることを示している。 微調整によりノードの遅延に対する感度は低下するが、構造やフォーマットのバリエーションに増大する可能性がある。

関連論文リスト

• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• GraphIFE: Rethinking Graph Imbalance Node Classification via Invariant Learning [49.47096910857841]
  ほとんどのグラフニューラルネットワークは、バランスの取れたクラス分布を暗黙的に仮定するが、これは偏りのある学習と少数クラスの性能低下につながる可能性がある。 合成ノードの品質不整合を緩和する新しいフレームワークであるGraphIFEを提案する。 提案手法は,グラフ不変学習の2つの重要な概念を取り入れ,埋め込み空間表現を強化する戦略を導入する。
  論文  参考訳（メタデータ） (2025-09-28T03:41:16Z)
• Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
  本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。 G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。 それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
  論文  参考訳（メタデータ） (2025-05-22T02:16:34Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• Can LLMs perform structured graph reasoning? [4.676784872259775]
  LLM(Pretrained Large Language Models)は、言語ベースのプロンプトだけで様々な推論能力を示す。 本稿では,半構造化タスクのプロキシとして,様々なグラフ推論タスクを設計する。 上記の課題に対して,5種類のインストラクト微細化LDM (GPT-4, GPT-3.5, Claude-2, Llama-2, Palm-2) をベンチマークした。
  論文  参考訳（メタデータ） (2024-02-02T09:45:33Z)
• Mind the Label Shift of Augmentation-based Graph OOD Generalization [88.32356432272356]
  LiSAは、トレーニンググラフの textbfLabel-textbfinvariant textbfSubgraphs を利用して textbfAugmented環境を構築する。 LiSAは、一貫した予測関係を持つ多様な拡張環境を生成する。 ノードレベルのOODベンチマークとグラフレベルのOODベンチマークの実験により、LiSAは異なるGNNバックボーンで印象的な一般化性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-03-27T00:08:45Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• Graph Contrastive Learning with Implicit Augmentations [36.57536688367965]
  Inlicit Graph Contrastive Learning (iGCL)は、グラフトポロジ構造を再構築することにより、変分グラフオートエンコーダから学習した潜時空間の増大を利用する。 グラフレベルとノードレベルの両方のタスクに対する実験結果から,提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-11-07T17:34:07Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。