論文の概要: GraphThought: Graph Combinatorial Optimization with Thought Generation

• arxiv url: http://arxiv.org/abs/2502.11607v1
• Date: Mon, 17 Feb 2025 09:50:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:43.892926
• Title: GraphThought: Graph Combinatorial Optimization with Thought Generation
• Title（参考訳）: GraphThought: 思考生成によるグラフコンビネーション最適化
• Authors: Zixiao Huang, Lifeng Guo, Junjie Sheng, Haosheng Chen, Wenhao Li, Bo Jin, Changhong Lu, Xiangfeng Wang,
• Abstract要約: 大規模言語モデル(LLM)は、特にテキスト処理や生成タスクにおいて、様々な領域で顕著な機能を示している。 OpenAI-o1のような最先端のLCMの推論能力の最近の進歩は、その適用性を著しく拡大した。 この研究は、モデルスケールが推論能力の主要な要因であるという一般的な概念に挑戦しながら、最先端のベンチマークを新たに設定する。
• 参考スコア（独自算出の注目度）: 17.076177868053026
• License:
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities across various domains, especially in text processing and generative tasks. Recent advancements in the reasoning capabilities of state-of-the-art LLMs, such as OpenAI-o1, have significantly broadened their applicability, particularly in complex problem-solving and logical inference. However, most existing LLMs struggle with notable limitations in handling graph combinatorial optimization (GCO) problems. To bridge this gap, we formally define the Optimal Thoughts Design (OTD) problem, including its state and action thought space. We then introduce a novel framework, GraphThought, designed to generate high-quality thought datasets for GCO problems. Leveraging these datasets, we fine-tune the Llama-3-8B-Instruct model to develop Llama-GT. Notably, despite its compact 8B-parameter architecture, Llama-GT matches the performance of state-of-the-art LLMs on the GraphArena benchmark. Experimental results show that our approach outperforms both proprietary and open-source models, even rivaling specialized models like o1-mini. This work sets a new state-of-the-art benchmark while challenging the prevailing notion that model scale is the primary driver of reasoning capability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にテキスト処理や生成タスクにおいて、様々な領域で顕著な機能を示している。 OpenAI-o1のような最先端のLCMの推論能力の最近の進歩は、特に複雑な問題解決や論理推論において、その適用性を著しく拡大している。 しかし、既存のLLMのほとんどは、グラフ組合せ最適化(GCO)問題を扱う際、顕著な制限に悩まされている。 このギャップを埋めるために、我々は、状態と行動思考空間を含む最適思考設計(OTD)問題を正式に定義する。 次に、GCO問題のための高品質な思考データセットを生成するために設計された新しいフレームワーク、GraphThoughtを紹介します。 これらのデータセットを活用することで、Llama-3-8B-Instructモデルを微調整してLlama-GTを開発する。 特に、コンパクトな8Bパラメータアーキテクチャにもかかわらず、Llama-GT は GraphArena ベンチマークの最先端 LLM のパフォーマンスと一致している。 実験の結果,本手法はプロプライエタリモデルとオープンソースモデルの両方より優れており,o1-miniのような特殊なモデルに匹敵する結果が得られた。 この研究は、モデルスケールが推論能力の主要な要因であるという一般的な概念に挑戦しながら、最先端のベンチマークを新たに設定する。

関連論文リスト

• AutoG: Towards automatic graph construction from tabular data [60.877867570524884]
  グラフ構築法を形式化し,評価するためのデータセットのセットを導入する。 人間の介入なしに高品質なグラフスキーマを自動的に生成するLLMベースのソリューションAutoGを提案する。
  論文  参考訳（メタデータ） (2025-01-25T17:31:56Z)
• LEGO-GraphRAG: Modularizing Graph-based Retrieval-Augmented Generation for Design Space Exploration [17.514586423233872]
  LEGO-GraphRAGは,GraphRAGワークフローのきめ細かい分解を可能にするモジュール型フレームワークである。 本フレームワークは,大規模実世界のグラフと多様なクエリセット上でのグラフRAGの総合的研究を促進する。
  論文  参考訳（メタデータ） (2024-11-06T15:32:28Z)
• GCoder: Improving Large Language Model for Generalized Graph Problem Solving [38.9131866084555]
  大規模言語モデル(LLM)は強力な推論能力を示しており、グラフ計算のような複雑なタスクに適している。 本稿では,一般化グラフ問題における問題解決の強化を目的とした,コードベースのLLMであるGCoderを紹介する。 本手法では,多種多様なグラフ形式とアルゴリズムを特徴とする広範囲なトレーニングデータセットであるGraphWildを構築する。
  論文  参考訳（メタデータ） (2024-10-24T18:40:36Z)
• Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
  GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。 分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。 本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
  論文  参考訳（メタデータ） (2024-10-07T15:34:14Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• GLBench: A Comprehensive Benchmark for Graph with Large Language Models [41.89444363336435]
  GLBenchは、教師付きシナリオとゼロショットシナリオの両方でGraphLLMメソッドを評価するための最初の包括的なベンチマークである。 GLBenchはグラフニューラルネットワークのような従来のベースラインとともに、GraphLLMメソッドのさまざまなカテゴリを公平かつ徹底的に評価する。
  論文  参考訳（メタデータ） (2024-07-10T08:20:47Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity Compensation [97.78045712375047]
  大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。 そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。 さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
  論文  参考訳（メタデータ） (2023-12-27T11:49:24Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs [91.07247251502564]
  本稿では,2つの世界の長所を結合するハイブリッドな手法を提案する。この手法では,グラフを最適化する上層学習手法とバイレベルフレームワークを開発する。 このような二段階のアプローチは、元のハードCOでの学習を単純化し、モデルキャパシティの需要を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2021-06-09T09:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。