論文の概要: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning

• arxiv url: http://arxiv.org/abs/2410.02203v2
• Date: Mon, 24 Feb 2025 03:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:48:08.122503
• Title: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning
• Title（参考訳）: GraphIC:マルチステップ推論のためのグラフベースの実例検索モデル
• Authors: Jiale Fu, Yaqing Wang, Simeng Han, Jiaming Fan, Chen Si, Xu Yang,
• Abstract要約: 推論プロセスのグラフベースの表現をICEの選択に活用する新しいアプローチであるGraphICを提案する。 また,GraphICはICLの性能と相互運用性を向上し,多段階推論タスクにおけるICE選択を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 20.871013687627944
• License:
• Abstract: In-context learning (ICL) enables large language models (LLMs) to generalize to new tasks by incorporating a few in-context examples (ICEs) directly in the input, without updating parameters. However, the effectiveness of ICL heavily relies on the selection of ICEs, and conventional text-based embedding methods are often inadequate for tasks that require multi-step reasoning, such as mathematical and logical problem solving. This is due to the bias introduced by shallow semantic similarities that fail to capture the deeper reasoning structures required for these tasks. We present GraphIC, a novel approach that leverages graph-based representations of reasoning processes, coupled with Bayesian Networks (BNs) to select ICEs. Graph structures inherently filter out shallow semantics while preserving the core reasoning structure. Importantly, BNs capture the dependency of a node's attributes on its parent nodes, closely mirroring the hierarchical nature of human cognition-where each thought is shaped by preceding ones. This makes BNs particularly well-suited for multi-step reasoning tasks, aligning the process more closely with human-like reasoning. Extensive experiments across three types of reasoning tasks (mathematical reasoning, code generation, and logical reasoning) demonstrate that GraphIC outperforms both training-free and training-based models in selecting ICEs, excelling in terms of both effectiveness and efficiency. We show that GraphIC enhances ICL's performance and interoperability, significantly advancing ICE selection for multi-step reasoning tasks.
• Abstract（参考訳）: インコンテキスト学習(ICL)では、パラメータを更新することなく、いくつかのインコンテキスト例(ICE)を直接入力に組み込むことで、大規模言語モデル(LLM)を新しいタスクに一般化することができる。 しかし、ICLの有効性はICEの選択に大きく依存しており、従来のテキストベースの埋め込み手法は数学的および論理的問題解決のような多段階推論を必要とするタスクには不十分であることが多い。 これは、これらのタスクに必要な深い推論構造を捉えるのに失敗する、浅いセマンティックな類似性によって導入されたバイアスによるものである。 本稿では,推論過程のグラフベース表現を活用する新しいアプローチであるGraphICとベイジアンネットワーク(BN)を併用してICEを選択する。 グラフ構造は本質的に、コアの推論構造を保持しながら浅いセマンティクスをフィルタリングする。 重要なことに、BNはノードの属性の親ノードへの依存性を捉え、それぞれの思考が先行するノードによって形成される人間の認知の階層的な性質を忠実に反映している。 これによってBNは特に多段階推論タスクに適しており、プロセスは人間のような推論とより密に一致している。 3種類の推論タスク(数学的推論、コード生成、論理的推論)にわたる大規模な実験は、GraphICがICEの選択においてトレーニングなしモデルとトレーニングベースモデルの両方より優れており、有効性と効率の両面で優れていることを示している。 また,GraphICはICLの性能と相互運用性を向上し,多段階推論タスクにおけるICE選択を大幅に向上させることを示す。

関連論文リスト

• Adaptive Graph of Thoughts: Test-Time Adaptive Reasoning Unifying Chain, Tree, and Graph Structures [0.0]
  本稿では,動的グラフベースの推論フレームワークであるAdaptive Graph of Thoughts (AGoT)を紹介する。 AGoTはテスト時間のみでのLarge Language Models (LLM)推論を強化する。 マルチホップ検索,科学的推論,数学的問題解決にまたがる多様なベンチマークに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-07T16:54:19Z)
• Causal Graphs Meet Thoughts: Enhancing Complex Reasoning in Graph-Augmented LLMs [4.701165676405066]
  関連情報を検索するだけでなく、因果推論や説明可能性の提供も重要である。 本稿では,大きな知識グラフをフィルタして原因効果エッジを強調する新しいパイプラインを提案する。 医学的質問応答タスクの実験では、一貫した利得を示し、最大10%の絶対的な改善がある。
  論文  参考訳（メタデータ） (2025-01-24T19:31:06Z)
• Reasoning with Graphs: Structuring Implicit Knowledge to Enhance LLMs Reasoning [73.2950349728376]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な成功を収めている。 しかし、彼らは情報片間の関係を理解し、推論する必要があるタスクの推論において、依然として課題に直面している。 この課題は、論理的推論やマルチホップ質問応答など、多段階プロセスに関わるタスクにおいて特に顕著である。 本稿では、まず文脈から明示的なグラフを構築することにより、グラフを用いた推論(RwG)を提案する。
  論文  参考訳（メタデータ） (2025-01-14T05:18:20Z)
• Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
  本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。 PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。 PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
  論文  参考訳（メタデータ） (2024-12-23T20:27:12Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Graph Collaborative Reasoning [18.45161138837384]
  グラフ協調推論(GCR)は、論理的推論の観点からグラフ上の関係推論に隣接リンク情報を使用することができる。 そこで我々は,グラフ構造を論理式に変換する簡単な手法を提案し,リンク予測タスクをニューラルネットワーク推論問題に変換する。 本研究の有効性を示すため,一般的なベンチマークデータセットに基づくリンク予測やレコメンデーションなどのグラフ関連タスクの実験を行った。
  論文  参考訳（メタデータ） (2021-12-27T14:27:58Z)
• MrGCN: Mirror Graph Convolution Network for Relation Extraction with Long-Term Dependencies [32.27755470353054]
  関係抽出では、豊富な構文的手がかりを含む依存木がテキストの長期依存を捉えるのに広く使われている。 関係抽出に適したプールアンプール構造を持つGNNモデルであるミラーグラフ畳み込みネットワーク(MrGCN)を提案する。 2つのデータセットを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-01-01T00:52:53Z)
• Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
  グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。 ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。 モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
  論文  参考訳（メタデータ） (2020-03-14T05:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。