論文の概要: GCoder: Improving Large Language Model for Generalized Graph Problem Solving

• arxiv url: http://arxiv.org/abs/2410.19084v1
• Date: Thu, 24 Oct 2024 18:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:03.065709
• Title: GCoder: Improving Large Language Model for Generalized Graph Problem Solving
• Title（参考訳）: GCoder: 一般化グラフ問題解決のための大規模言語モデルの改善
• Authors: Qifan Zhang, Xiaobin Hong, Jianheng Tang, Nuo Chen, Yuhan Li, Wenzhong Li, Jing Tang, Jia Li,
• Abstract要約: 大規模言語モデル(LLM)は強力な推論能力を示しており、グラフ計算のような複雑なタスクに適している。 本稿では,一般化グラフ問題における問題解決の強化を目的とした,コードベースのLLMであるGCoderを紹介する。 本手法では,多種多様なグラフ形式とアルゴリズムを特徴とする広範囲なトレーニングデータセットであるGraphWildを構築する。
• 参考スコア（独自算出の注目度）: 38.9131866084555
• License:
• Abstract: Large Language Models (LLMs) have demonstrated strong reasoning abilities, making them suitable for complex tasks such as graph computation. Traditional reasoning steps paradigm for graph problems is hindered by unverifiable steps, limited long-term reasoning, and poor generalization to graph variations. To overcome these limitations, we introduce GCoder, a code-based LLM designed to enhance problem-solving in generalized graph computation problems. Our method involves constructing an extensive training dataset, GraphWild, featuring diverse graph formats and algorithms. We employ a multi-stage training process, including Supervised Fine-Tuning (SFT) and Reinforcement Learning from Compiler Feedback (RLCF), to refine model capabilities. For unseen tasks, a hybrid retrieval technique is used to augment performance. Experiments demonstrate that GCoder outperforms GPT-4o, with an average accuracy improvement of 16.42% across various graph computational problems. Furthermore, GCoder efficiently manages large-scale graphs with millions of nodes and diverse input formats, overcoming the limitations of previous models focused on the reasoning steps paradigm. This advancement paves the way for more intuitive and effective graph problem-solving using LLMs. Code and data are available at here: https://github.com/Bklight999/WWW25-GCoder/tree/master.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強力な推論能力を示しており、グラフ計算のような複雑なタスクに適している。 グラフ問題に対する従来の推論ステップのパラダイムは、検証不可能なステップ、長期的な推論の制限、グラフのバリエーションへの一般化の欠如によって妨げられている。 これらの制限を克服するために、一般化グラフ計算問題における問題解決の強化を目的とした、コードベースのLLMであるGCoderを導入する。 本手法では,多種多様なグラフ形式とアルゴリズムを特徴とする広範囲なトレーニングデータセットであるGraphWildを構築する。 モデル機能を改善するために,スーパービジョンファインチューニング(SFT)やコンパイラフィードバックによる強化学習(RLCF)など,多段階のトレーニングプロセスを採用している。 未知のタスクに対しては、ハイブリット検索技術を用いてパフォーマンスを向上する。 実験の結果、GCoderはGPT-4oより優れており、グラフ計算問題の平均精度は16.42%向上している。 さらに、GCoderは、数百万のノードと多様な入力フォーマットを持つ大規模グラフを効率的に管理し、推論ステップのパラダイムに焦点を当てた以前のモデルの制限を克服する。 この進歩は LLM を用いたより直感的で効果的なグラフ問題解決の道を開く。 コードとデータはここにある。 https://github.com/Bklight999/WWW25-GCoder/tree/master。

関連論文リスト

• Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
  GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。 分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。 本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
  論文  参考訳（メタデータ） (2024-10-07T15:34:14Z)
• GraphWiz: An Instruction-Following Language Model for Graph Problems [39.656196336071275]
  GraphInstructは、言語モデルに明示的な推論パスを用いて、幅広いグラフ問題に対処する機能を持たせるために設計されたデータセットである。 GraphWizは、明確な推論プロセスを生成しながら、さまざまなグラフ問題タイプを解決できるオープンソースの言語モデルです。 拡張モデルであるGraphWiz-DPOは、9つのタスクで平均65%の精度を達成し、GPT-4を平均43.8%上回っている。
  論文  参考訳（メタデータ） (2024-02-25T08:41:32Z)
• InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment [30.136514352238795]
  InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。 InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-13T20:47:17Z)
• Learning Cartesian Product Graphs with Laplacian Constraints [10.15283812819547]
  ラプラシアン制約下でのカルト積グラフの学習問題について検討する。 我々は、ペナルティ化された最大推定値に対する統計的整合性を確立する。 また、構造的欠落のある値の存在下で、効率的な共同グラフ学習と計算を行う方法を拡張した。
  論文  参考訳（メタデータ） (2024-02-12T22:48:30Z)
• GraphLLM: Boosting Graph Reasoning Ability of Large Language Model [7.218768686958888]
  GraphLLMは、グラフ学習モデルと大規模言語モデルを統合する、先駆的なエンドツーエンドアプローチである。 4つの基本グラフ推論タスクにおける経験的評価により,GraphLLMの有効性が検証された。 その結果、54.44%の精度が向上し、96.45%の文脈が短縮された。
  論文  参考訳（メタデータ） (2023-10-09T16:42:00Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。