論文の概要: Learn to Think: Bootstrapping LLM Reasoning Capability Through Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2505.06321v2
• Date: Sat, 17 May 2025 00:10:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.651297
• Title: Learn to Think: Bootstrapping LLM Reasoning Capability Through Graph Representation Learning
• Title（参考訳）: グラフ表現学習によるLLM推論能力のブートストラップ
• Authors: Hang Gao, Chenhao Zhang, Tie Wang, Junsuo Zhao, Fengge Wu, Changwen Zheng, Huaping Liu,
• Abstract要約: 大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 それらは、訓練のための高い計算コストや複雑な推論問題の解決における制限など、依然として重大な課題に直面している。 より柔軟で適応的な推論機能を実現するために,グラフ学習を活用する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.75678229122211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success across various domains. However, they still face significant challenges, including high computational costs for training and limitations in solving complex reasoning problems. Although existing methods have extended the reasoning capabilities of LLMs through structured paradigms, these approaches often rely on task-specific prompts and predefined reasoning processes, which constrain their flexibility and generalizability. To address these limitations, we propose a novel framework that leverages graph learning to enable more flexible and adaptive reasoning capabilities for LLMs. Specifically, this approach models the reasoning process of a problem as a graph and employs LLM-based graph learning to guide the adaptive generation of each reasoning step. To further enhance the adaptability of the model, we introduce a Graph Neural Network (GNN) module to perform representation learning on the generated reasoning process, enabling real-time adjustments to both the model and the prompt. Experimental results demonstrate that this method significantly improves reasoning performance across multiple tasks without requiring additional training or task-specific prompt design. Code can be found in https://github.com/zch65458525/L2T.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 しかし、それらは依然として、訓練のための高い計算コストや複雑な推論問題の解決における制限など、重大な課題に直面している。 既存の手法は、構造化パラダイムを通じてLCMの推論能力を拡張してきたが、これらの手法は、その柔軟性と一般化性を制限したタスク固有のプロンプトと事前定義された推論プロセスに依存していることが多い。 これらの制約に対処するために,LLMのより柔軟で適応的な推論機能を実現するために,グラフ学習を活用する新しいフレームワークを提案する。 具体的には、問題の推論過程をグラフとしてモデル化し、LLMに基づくグラフ学習を用いて各推論ステップの適応生成を導く。 モデルの適応性をさらに向上するため、生成した推論プロセス上で表現学習を行うグラフニューラルネットワーク(GNN)モジュールを導入し、モデルとプロンプトの両方にリアルタイムな調整を可能にする。 実験結果から,複数タスク間の推論性能は,追加のトレーニングやタスク固有のプロンプト設計を必要とせず,大幅に向上することが示された。 コードはhttps://github.com/zch65458525/L2Tで見ることができる。

関連論文リスト

• Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
  本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。 専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。 我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-05-27T04:08:11Z)
• Decoupled Visual Interpretation and Linguistic Reasoning for Math Problem Solving [57.22004912994658]
  現在の大型視覚言語モデル(LVLM)は、通常、大型言語モデル(LLM)のテキスト埋め込みと視覚的特徴をリンクするためのコネクタモジュールを使用する。 本稿では,エンド・ツー・エンドの視覚言語推論モデルをトレーニングする代わりに,分離された推論フレームワークの開発を提唱する。
  論文  参考訳（メタデータ） (2025-05-23T08:18:00Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Reasoning with Graphs: Structuring Implicit Knowledge to Enhance LLMs Reasoning [73.2950349728376]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な成功を収めている。 しかし、彼らは情報片間の関係を理解し、推論する必要があるタスクの推論において、依然として課題に直面している。 この課題は、論理的推論やマルチホップ質問応答など、多段階プロセスに関わるタスクにおいて特に顕著である。 本稿では、まず文脈から明示的なグラフを構築することにより、グラフを用いた推論(RwG)を提案する。
  論文  参考訳（メタデータ） (2025-01-14T05:18:20Z)
• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach [0.0]
  大きな言語モデル(LLM)は印象的な推論機能を示しています。 本稿では,LLMの推論能力をさらに向上するグラフベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T03:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。