論文の概要: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning
- arxiv url: http://arxiv.org/abs/2410.02203v3
- Date: Tue, 25 Feb 2025 03:10:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 13:17:50.498089
- Title: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning
- Title（参考訳）: GraphIC:マルチステップ推論のためのグラフベースの実例検索モデル
- Authors: Jiale Fu, Yaqing Wang, Simeng Han, Jiaming Fan, Xu Yang,
- Abstract要約: In-context Learning (ICL)は、実例を取り入れた大規模言語モデル(LLM)を強化する。
現在のメソッドは通常、テキスト埋め込みを使用して意味的類似度を測定するが、これは多段階推論タスクにバイアスをもたらすことが多い。
In-context の例検索に推論認識表現と特殊類似度指標を利用するグラフベースの検索モデル GraphIC を提案する。
- 参考スコア（独自算出の注目度）: 22.115256310400817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL) enhances large language models (LLMs) by incorporating demonstration examples, yet its effectiveness heavily depends on the quality of selected examples. Current methods typically use text embeddings to measure semantic similarity, which often introduces bias in multi-step reasoning tasks. This occurs because text embeddings contain irrelevant semantic information and lack deeper reasoning structures. To address this, we propose GraphIC, a graph-based retrieval model that leverages reasoning-aware representation and specialized similarity metric for in-context example retrieval. GraphIC first constructs thought graphs-directed, node-attributed graphs that explicitly model reasoning steps and their dependencies-for candidate examples and queries. This approach filters out superficial semantics while preserving essential reasoning processes. Next, GraphIC retrieves examples using a novel similarity metric tailored for these graphs, capturing sequential reasoning patterns and asymmetry between examples. Comprehensive evaluations across mathematical reasoning, code generation, and logical reasoning tasks demonstrate that GraphIC outperforms 10 baseline methods. Our results highlight the importance of reasoning-aware retrieval in ICL, offering a robust solution for enhancing LLM performance in multi-step reasoning scenarios.
- Abstract（参考訳）: In-context Learning (ICL)は、実例を取り入れた大規模言語モデル(LLM)を強化するが、その有効性は選択した例の品質に大きく依存する。
現在のメソッドは通常、テキスト埋め込みを使用して意味的類似度を測定するが、これは多段階推論タスクにバイアスをもたらすことが多い。
これは、テキストの埋め込みには無関係な意味情報が含まれており、より深い推論構造がないためである。
そこで本稿では,グラフベースの検索モデルであるGraphICを提案する。
GraphICはまず、思考グラフ指向のノード依存グラフを構築し、推論ステップとその依存関係を、候補の例とクエリのために明示的にモデル化する。
このアプローチは、重要な推論プロセスを保持しながら表面的意味論をフィルタリングする。
次に、GraphICはこれらのグラフ用に調整された新しい類似度メトリックを使用してサンプルを検索し、シーケンシャルな推論パターンとサンプル間の非対称性をキャプチャする。
数学的推論、コード生成、論理的推論タスクの総合的な評価は、GraphICが10のベースラインメソッドより優れていることを示している。
ICLにおける推論認識検索の重要性を強調し,多段階推論シナリオにおけるLLM性能向上のための堅牢なソリューションを提供する。
関連論文リスト
- Measuring Similarity in Causal Graphs: A Framework for Semantic and Structural Analysis [0.7373617024876725]
因果グラフは一般に複雑なシステムを理解しモデル化するために用いられる。
研究者はしばしば異なる視点からこれらのグラフを構築し、同じ問題に対して大きなバリエーションをもたらす。
その重要性にもかかわらず、因果グラフ比較の研究は依然として少ない。
論文 参考訳（メタデータ） (2025-03-14T03:29:26Z) - Causal Graphs Meet Thoughts: Enhancing Complex Reasoning in Graph-Augmented LLMs [4.701165676405066]
関連情報を検索するだけでなく、因果推論や説明可能性の提供も重要である。
本稿では,大きな知識グラフをフィルタして原因効果エッジを強調する新しいパイプラインを提案する。
医学的質問応答タスクの実験では、一貫した利得を示し、最大10%の絶対的な改善がある。
論文 参考訳（メタデータ） (2025-01-24T19:31:06Z) - Reasoning with Graphs: Structuring Implicit Knowledge to Enhance LLMs Reasoning [73.2950349728376]
大規模言語モデル(LLM)は、幅広いタスクで顕著な成功を収めている。
しかし、彼らは情報片間の関係を理解し、推論する必要があるタスクの推論において、依然として課題に直面している。
この課題は、論理的推論やマルチホップ質問応答など、多段階プロセスに関わるタスクにおいて特に顕著である。
本稿では、まず文脈から明示的なグラフを構築することにより、グラフを用いた推論(RwG)を提案する。
論文 参考訳（メタデータ） (2025-01-14T05:18:20Z) - A Top-down Graph-based Tool for Modeling Classical Semantic Maps: A Crosslinguistic Case Study of Supplementary Adverbs [50.982315553104975]
セマンティックマップモデル(SMM)は、言語横断的なインスタンスや形式からネットワークのような概念空間を構築する。
ほとんどのSMMは、ボトムアップ手順を使用して、人間の専門家によって手動で構築される。
本稿では,概念空間とSMMをトップダウンで自動生成するグラフベースの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-02T12:06:41Z) - Instance-Aware Graph Prompt Learning [71.26108600288308]
本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。
このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。
複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-11-26T18:38:38Z) - Towards Graph Foundation Models: The Perspective of Zero-shot Reasoning on Knowledge Graphs [14.392577069212292]
我々は、ゼロショット学習を用いて、多様なグラフタスクを効果的に一般化する統合グラフ推論フレームワークSCOREを紹介する。
SCOREを38種類のグラフデータセットを用いて評価し、ノードレベル、リンクレベル、グラフレベルのタスクを複数のドメインでカバーする。
論文 参考訳（メタデータ） (2024-10-16T14:26:08Z) - Reasoning Graph Enhanced Exemplars Retrieval for In-Context Learning [13.381974811214764]
RGER(Reasoning Graph-enhanced Exemplar Retrieval)
RGERはグラフカーネルを使用して、意味的および構造的類似性のある例を選択する。
数学およびロジット推論タスクにおけるRGERの有効性は、最先端の検索に基づくアプローチよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-09-17T12:58:29Z) - Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文 参考訳（メタデータ） (2024-05-29T14:26:24Z) - Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。
任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。
広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
論文 参考訳（メタデータ） (2024-05-02T18:12:08Z) - ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。
また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-23T12:11:13Z) - Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。
GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。
テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
論文 参考訳（メタデータ） (2023-05-26T02:15:09Z) - Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳（メタデータ） (2023-05-04T16:04:41Z) - FactGraph: Evaluating Factuality in Summarization with Semantic Graph
Representations [114.94628499698096]
文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。
MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。
事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
論文 参考訳（メタデータ） (2022-04-13T16:45:33Z) - Graph Collaborative Reasoning [18.45161138837384]
グラフ協調推論(GCR)は、論理的推論の観点からグラフ上の関係推論に隣接リンク情報を使用することができる。
そこで我々は,グラフ構造を論理式に変換する簡単な手法を提案し,リンク予測タスクをニューラルネットワーク推論問題に変換する。
本研究の有効性を示すため,一般的なベンチマークデータセットに基づくリンク予測やレコメンデーションなどのグラフ関連タスクの実験を行った。
論文 参考訳（メタデータ） (2021-12-27T14:27:58Z) - Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。
提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。
すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
論文 参考訳（メタデータ） (2021-09-01T08:24:02Z) - Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。
本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
論文 参考訳（メタデータ） (2021-01-16T16:18:43Z) - MrGCN: Mirror Graph Convolution Network for Relation Extraction with
Long-Term Dependencies [32.27755470353054]
関係抽出では、豊富な構文的手がかりを含む依存木がテキストの長期依存を捉えるのに広く使われている。
関係抽出に適したプールアンプール構造を持つGNNモデルであるミラーグラフ畳み込みネットワーク(MrGCN)を提案する。
2つのデータセットを用いた実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-01-01T00:52:53Z) - Out-of-Sample Representation Learning for Multi-Relational Graphs [8.956321788625894]
非分散知識グラフに対するアウトオブサンプル表現学習問題について検討する。
このタスクのためのベンチマークデータセットを作成し、いくつかのモデルとベースラインを開発し、提案したモデルとベースラインの実証分析と比較を提供する。
論文 参考訳（メタデータ） (2020-04-28T00:53:01Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳（メタデータ） (2020-03-14T05:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。