論文の概要: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning
- arxiv url: http://arxiv.org/abs/2410.02203v1
- Date: Thu, 3 Oct 2024 04:33:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 08:06:03.798043
- Title: GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning
- Title（参考訳）: GraphIC:マルチステップ推論のためのグラフベースの実例検索モデル
- Authors: Jiale Fu, Yaqing Wang, Simeng Han, Jiaming Fan, Chen Si, Xu Yang,
- Abstract要約: 推論プロセスのグラフベースの表現をICEの選択に活用する新しいアプローチであるGraphICを提案する。
また,GraphICはICLの性能と相互運用性を向上し,多段階推論タスクにおけるICE選択を大幅に向上させることを示す。
- 参考スコア（独自算出の注目度）: 20.871013687627944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL) enables large language models (LLMs) to generalize to new tasks by incorporating a few in-context examples (ICEs) directly in the input, without updating parameters. However, the effectiveness of ICL heavily relies on the selection of ICEs, and conventional text-based embedding methods are often inadequate for tasks that require multi-step reasoning, such as mathematical and logical problem solving. This is due to the bias introduced by shallow semantic similarities that fail to capture the deeper reasoning structures required for these tasks. We present GraphIC, a novel approach that leverages graph-based representations of reasoning processes, coupled with Bayesian Networks (BNs) to select ICEs. Graph structures inherently filter out shallow semantics while preserving the core reasoning structure. Importantly, BNs capture the dependency of a node's attributes on its parent nodes, closely mirroring the hierarchical nature of human cognition-where each thought is shaped by preceding ones. This makes BNs particularly well-suited for multi-step reasoning tasks, aligning the process more closely with human-like reasoning. Extensive experiments across three types of reasoning tasks (mathematical reasoning, code generation, and logical reasoning) demonstrate that GraphIC outperforms both training-free and training-based models in selecting ICEs, excelling in terms of both effectiveness and efficiency. We show that GraphIC enhances ICL's performance and interoperability, significantly advancing ICE selection for multi-step reasoning tasks.
- Abstract（参考訳）: インコンテキスト学習(ICL)では、パラメータを更新することなく、いくつかのインコンテキスト例(ICE)を直接入力に組み込むことで、大規模言語モデル(LLM)を新しいタスクに一般化することができる。
しかし、ICLの有効性はICEの選択に大きく依存しており、従来のテキストベースの埋め込み手法は数学的および論理的問題解決のような多段階推論を必要とするタスクには不十分であることが多い。
これは、これらのタスクに必要な深い推論構造を捉えるのに失敗する、浅いセマンティックな類似性によって導入されたバイアスによるものである。
本稿では,推論過程のグラフベース表現を活用する新しいアプローチであるGraphICとベイジアンネットワーク(BN)を併用してICEを選択する。
グラフ構造は本質的に、コアの推論構造を保持しながら浅いセマンティクスをフィルタリングする。
重要なことに、BNはノードの属性の親ノードへの依存性を捉え、それぞれの思考が先行するノードによって形成される人間の認知の階層的な性質を忠実に反映している。
これによってBNは特に多段階推論タスクに適しており、プロセスは人間のような推論とより密に一致している。
3種類の推論タスク(数学的推論、コード生成、論理的推論)にわたる大規模な実験は、GraphICがICEの選択においてトレーニングなしモデルとトレーニングベースモデルの両方より優れており、有効性と効率の両面で優れていることを示している。
また,GraphICはICLの性能と相互運用性を向上し,多段階推論タスクにおけるICE選択を大幅に向上させることを示す。
関連論文リスト
- Instance-Aware Graph Prompt Learning [71.26108600288308]
本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。
このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。
複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-11-26T18:38:38Z) - Towards Graph Foundation Models: The Perspective of Zero-shot Reasoning on Knowledge Graphs [14.392577069212292]
我々は、ゼロショット学習を用いて、多様なグラフタスクを効果的に一般化する統合グラフ推論フレームワークSCOREを紹介する。
SCOREを38種類のグラフデータセットを用いて評価し、ノードレベル、リンクレベル、グラフレベルのタスクを複数のドメインでカバーする。
論文 参考訳（メタデータ） (2024-10-16T14:26:08Z) - Reasoning Graph Enhanced Exemplars Retrieval for In-Context Learning [13.381974811214764]
RGER(Reasoning Graph-enhanced Exemplar Retrieval)
RGERはグラフカーネルを使用して、意味的および構造的類似性のある例を選択する。
数学およびロジット推論タスクにおけるRGERの有効性は、最先端の検索に基づくアプローチよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-09-17T12:58:29Z) - Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文 参考訳（メタデータ） (2024-05-29T14:26:24Z) - Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。
任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。
広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
論文 参考訳（メタデータ） (2024-05-02T18:12:08Z) - ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。
また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-23T12:11:13Z) - Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。
GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。
テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
論文 参考訳（メタデータ） (2023-05-26T02:15:09Z) - Graph Collaborative Reasoning [18.45161138837384]
グラフ協調推論(GCR)は、論理的推論の観点からグラフ上の関係推論に隣接リンク情報を使用することができる。
そこで我々は,グラフ構造を論理式に変換する簡単な手法を提案し,リンク予測タスクをニューラルネットワーク推論問題に変換する。
本研究の有効性を示すため,一般的なベンチマークデータセットに基づくリンク予測やレコメンデーションなどのグラフ関連タスクの実験を行った。
論文 参考訳（メタデータ） (2021-12-27T14:27:58Z) - MrGCN: Mirror Graph Convolution Network for Relation Extraction with
Long-Term Dependencies [32.27755470353054]
関係抽出では、豊富な構文的手がかりを含む依存木がテキストの長期依存を捉えるのに広く使われている。
関係抽出に適したプールアンプール構造を持つGNNモデルであるミラーグラフ畳み込みネットワーク(MrGCN)を提案する。
2つのデータセットを用いた実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-01-01T00:52:53Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳（メタデータ） (2020-03-14T05:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。