論文の概要: Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings

• arxiv url: http://arxiv.org/abs/2610.27439v1
• Date: Tue, 20 Oct 2026 00:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.56097
• Title: Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings
• Title（参考訳）: 学習可能なグラフ位置符号化を用いた言語モデルにおけるグラフ推論のスケーリング
• Abstract要約: 最大1000ノードの小さなグラフ上でLanguage Reasoning Model(LRM)を訓練する。 提案モデルでは,最大1000ノードのグラフ上でのグラフ理論タスクにおけるサイズ一般化を改良し,従来の LRM よりも少ないトークンを生成する。 グラフ理論ベンチマークの評価でも、小さなグラフのパフォーマンスが保存されていることが示されている。
• 参考スコア（独自算出の注目度）: 76.03801750745352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving reasoning tasks supported on graphs typically requires providing a Language Reasoning Model (LRM) with a serialized description of the graph. This approach results in the input length growing with the number of edges, which limits the size of the problems that can be solved. Furthermore, even when graphs fit in context, performance sharply decays as the graphs grow. We propose to address this by augmenting LRMs with scalable and permutation equivariant graph positional encodings that modulate attention logits. An additional post-fusion-style module incorporates structural information into hidden states. We compute these positional encodings using a GNN followed by a Graph Transformer. This eliminates the need for serialized adjacencies, reducing the context burden to $O(N)$. We jointly fine-tune the positional encoder and the LRM LoRA adapters using optimal solutions generated by graph-theoretic solvers, resulting in a computationally efficient method. Trained on small graphs, the model exhibits improved size-generalization across graph-theoretic tasks on graphs with up to 1,000 nodes, and produces fewer tokens than a conventional LRM. Additionally, we observe that our model remains robust to node relabelings. Evaluations on graph-theoretic benchmarks also show that performance on small graphs is preserved.
• Abstract（参考訳）: グラフでサポートされている推論タスクを解決するには、典型的には、グラフのシリアライズされた記述を備えた言語推論モデル(LRM)を提供する必要がある。 このアプローチにより、エッジの数とともに入力長が増大し、解決可能な問題のサイズが制限される。 さらに、グラフがコンテキストに適合しても、グラフが大きくなるにつれてパフォーマンスが急激に低下する。 注意ログを変調するスケーラブルかつ多変量なグラフ位置エンコーディングを用いてLEMを増大させることにより、この問題に対処することを提案する。 追加のポストフュージョンスタイルモジュールは、構造情報を隠された状態に組み込む。 我々はこれらの位置符号化をGNNとグラフ変換器を用いて計算する。 これにより、シリアライズされた隣接性の必要性を排除し、コンテキストの負担を$O(N)$に削減できる。 グラフ理論解法により生成した最適解を用いて,位置エンコーダとLRM LoRAアダプタを相互に微調整し,計算効率を向上する。 小さなグラフで訓練されたこのモデルは、最大1000ノードのグラフ上でのグラフ理論タスクにおけるサイズ一般化の改善を示し、従来の LRM よりも少ないトークンを生成する。 さらに,本モデルがノードの許容値に対して頑健であることも確認した。 グラフ理論ベンチマークの評価でも、小さなグラフのパフォーマンスが保存されていることが示されている。

関連論文リスト

• Generative Diffusion Models of Stochastic Graph Signals [74.4097723209053]
  本稿では,条件付きグラフ信号生成モデルの問題に取り組み,単一の拡散フレームワークを用いてそれらに取り組む。 グラフトポロジとノード機能側情報に基づいて直接条件付きグラフ信号を描画するグラフニューラルネットワーク(GNN)によりパラメータ化された逆拡散過程を学習する。 本稿では,株価予測と最適無線リソース割り当てという2つの生成課題について,両領域で広範囲に数値計算を行った。
  論文  参考訳（メタデータ） (2026-07-07T22:02:13Z)
• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• GraphSOS: Graph Sampling and Order Selection to Help LLMs Understand Graphs Better [13.742220809751627]
  GraphSOSは、グラフデータを自然言語テキストに変換する新しいフレームワークである。 Order Selector Moduleはグラフの適切なシリアライズ順序を保証するもので、Subgraph Smpling Moduleはより良い推論のためにより良い構造を持つサブグラフをサンプリングする。 ノード分類とグラフ問合せのための複数のデータセットの実験は、GraphSOSがグラフタスクにおけるLLMのパフォーマンスと能力を改善することを示した。
  論文  参考訳（メタデータ） (2025-01-24T11:55:57Z)
• A Simple and Scalable Representation for Graph Generation [13.111214838770296]
  本稿では,エッジ数に適合する小さな表現サイズを持つ,ギャップ符号化エッジリスト (GEEL) という,新しい,シンプルでスケーラブルなグラフ表現を提案する。 GEELは、ギャップエンコーディングと帯域幅制限スキームを組み込むことにより、語彙サイズを著しく削減する。 我々は、GEELの有効性を実証し、10の非分散および2つの分子グラフ生成タスクを総合的に評価する。
  論文  参考訳（メタデータ） (2023-12-04T03:43:26Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。