論文の概要: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning

• arxiv url: http://arxiv.org/abs/2410.02203v3
• Date: Tue, 25 Feb 2025 03:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 11:58:51.244502
• Title: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning
• Title（参考訳）: GraphIC:マルチステップ推論のためのグラフベースの実例検索モデル
• Authors: Jiale Fu, Yaqing Wang, Simeng Han, Jiaming Fan, Xu Yang,
• Abstract要約: In-context Learning (ICL)は、実例を取り入れた大規模言語モデル(LLM)を強化する。 現在のメソッドは通常、テキスト埋め込みを使用して意味的類似度を測定するが、これは多段階推論タスクにバイアスをもたらすことが多い。 In-context の例検索に推論認識表現と特殊類似度指標を利用するグラフベースの検索モデル GraphIC を提案する。
• 参考スコア（独自算出の注目度）: 22.115256310400817
• License:
• Abstract: In-context learning (ICL) enhances large language models (LLMs) by incorporating demonstration examples, yet its effectiveness heavily depends on the quality of selected examples. Current methods typically use text embeddings to measure semantic similarity, which often introduces bias in multi-step reasoning tasks. This occurs because text embeddings contain irrelevant semantic information and lack deeper reasoning structures. To address this, we propose GraphIC, a graph-based retrieval model that leverages reasoning-aware representation and specialized similarity metric for in-context example retrieval. GraphIC first constructs thought graphs-directed, node-attributed graphs that explicitly model reasoning steps and their dependencies-for candidate examples and queries. This approach filters out superficial semantics while preserving essential reasoning processes. Next, GraphIC retrieves examples using a novel similarity metric tailored for these graphs, capturing sequential reasoning patterns and asymmetry between examples. Comprehensive evaluations across mathematical reasoning, code generation, and logical reasoning tasks demonstrate that GraphIC outperforms 10 baseline methods. Our results highlight the importance of reasoning-aware retrieval in ICL, offering a robust solution for enhancing LLM performance in multi-step reasoning scenarios.
• Abstract（参考訳）: In-context Learning (ICL)は、実例を取り入れた大規模言語モデル(LLM)を強化するが、その有効性は選択した例の品質に大きく依存する。 現在のメソッドは通常、テキスト埋め込みを使用して意味的類似度を測定するが、これは多段階推論タスクにバイアスをもたらすことが多い。 これは、テキストの埋め込みには無関係な意味情報が含まれており、より深い推論構造がないためである。 そこで本稿では,グラフベースの検索モデルであるGraphICを提案する。 GraphICはまず、思考グラフ指向のノード依存グラフを構築し、推論ステップとその依存関係を、候補の例とクエリのために明示的にモデル化する。 このアプローチは、重要な推論プロセスを保持しながら表面的意味論をフィルタリングする。 次に、GraphICはこれらのグラフ用に調整された新しい類似度メトリックを使用してサンプルを検索し、シーケンシャルな推論パターンとサンプル間の非対称性をキャプチャする。 数学的推論、コード生成、論理的推論タスクの総合的な評価は、GraphICが10のベースラインメソッドより優れていることを示している。 ICLにおける推論認識検索の重要性を強調し,多段階推論シナリオにおけるLLM性能向上のための堅牢なソリューションを提供する。

関連論文リスト

• Adaptive Graph of Thoughts: Test-Time Adaptive Reasoning Unifying Chain, Tree, and Graph Structures [0.0]
  本稿では,動的グラフベースの推論フレームワークであるAdaptive Graph of Thoughts (AGoT)を紹介する。 AGoTはテスト時間のみでのLarge Language Models (LLM)推論を強化する。 マルチホップ検索,科学的推論,数学的問題解決にまたがる多様なベンチマークに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-07T16:54:19Z)
• Causal Graphs Meet Thoughts: Enhancing Complex Reasoning in Graph-Augmented LLMs [4.701165676405066]
  関連情報を検索するだけでなく、因果推論や説明可能性の提供も重要である。 本稿では,大きな知識グラフをフィルタして原因効果エッジを強調する新しいパイプラインを提案する。 医学的質問応答タスクの実験では、一貫した利得を示し、最大10%の絶対的な改善がある。
  論文  参考訳（メタデータ） (2025-01-24T19:31:06Z)
• Reasoning with Graphs: Structuring Implicit Knowledge to Enhance LLMs Reasoning [73.2950349728376]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な成功を収めている。 しかし、彼らは情報片間の関係を理解し、推論する必要があるタスクの推論において、依然として課題に直面している。 この課題は、論理的推論やマルチホップ質問応答など、多段階プロセスに関わるタスクにおいて特に顕著である。 本稿では、まず文脈から明示的なグラフを構築することにより、グラフを用いた推論(RwG)を提案する。
  論文  参考訳（メタデータ） (2025-01-14T05:18:20Z)
• Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
  本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。 PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。 PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
  論文  参考訳（メタデータ） (2024-12-23T20:27:12Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Graph Collaborative Reasoning [18.45161138837384]
  グラフ協調推論(GCR)は、論理的推論の観点からグラフ上の関係推論に隣接リンク情報を使用することができる。 そこで我々は,グラフ構造を論理式に変換する簡単な手法を提案し,リンク予測タスクをニューラルネットワーク推論問題に変換する。 本研究の有効性を示すため,一般的なベンチマークデータセットに基づくリンク予測やレコメンデーションなどのグラフ関連タスクの実験を行った。
  論文  参考訳（メタデータ） (2021-12-27T14:27:58Z)
• MrGCN: Mirror Graph Convolution Network for Relation Extraction with Long-Term Dependencies [32.27755470353054]
  関係抽出では、豊富な構文的手がかりを含む依存木がテキストの長期依存を捉えるのに広く使われている。 関係抽出に適したプールアンプール構造を持つGNNモデルであるミラーグラフ畳み込みネットワーク(MrGCN)を提案する。 2つのデータセットを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-01-01T00:52:53Z)
• Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
  グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。 ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。 モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
  論文  参考訳（メタデータ） (2020-03-14T05:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。