論文の概要: Causal Reasoning in Large Language Models: A Knowledge Graph Approach

• arxiv url: http://arxiv.org/abs/2410.11588v1
• Date: Tue, 15 Oct 2024 13:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:38.809486
• Title: Causal Reasoning in Large Language Models: A Knowledge Graph Approach
• Title（参考訳）: 大規模言語モデルにおける因果推論:知識グラフアプローチ
• Authors: Yejin Kim, Eojin Kang, Juae Kim, H. Howie Huang,
• Abstract要約: 大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。 本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
• 参考スコア（独自算出の注目度）: 6.5344638992876085
• License:
• Abstract: Large language models (LLMs) typically improve performance by either retrieving semantically similar information, or enhancing reasoning abilities through structured prompts like chain-of-thought. While both strategies are considered crucial, it remains unclear which has a greater impact on model performance or whether a combination of both is necessary. This paper answers this question by proposing a knowledge graph (KG)-based random-walk reasoning approach that leverages causal relationships. We conduct experiments on the commonsense question answering task that is based on a KG. The KG inherently provides both relevant information, such as related entity keywords, and a reasoning structure through the connections between nodes. Experimental results show that the proposed KG-based random-walk reasoning method improves the reasoning ability and performance of LLMs. Interestingly, incorporating three seemingly irrelevant sentences into the query using KG-based random-walk reasoning enhances LLM performance, contrary to conventional wisdom. These findings suggest that integrating causal structures into prompts can significantly improve reasoning capabilities, providing new insights into the role of causality in optimizing LLM performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を高めることによってパフォーマンスを向上させる。 どちらの戦略も重要であると考えられているが、どの戦略がモデルの性能に大きな影響を与えているのか、あるいは両者の組み合わせが必要かどうかは不明だ。 本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。 我々は,KGに基づくコモンセンス質問応答タスクについて実験を行った。 KGは本質的に、関連するエンティティキーワードなどの関連情報と、ノード間の接続を通じて推論構造の両方を提供する。 実験結果から,提案したKGを用いたランダムウォーク推論手法により,LLMの推論能力と性能が向上することが示された。 興味深いことに、KGに基づくランダムウォーク推論を用いたクエリに不適切な3つの文を組み込むことで、従来の知恵とは対照的にLLMのパフォーマンスが向上する。 これらの結果から, 因果構造をプロンプトに組み込むことで推論能力が向上し, LLM性能の最適化における因果性の役割について新たな知見が得られることが示唆された。

関連論文リスト

• OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
  本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。 我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。 提案手法に基づいてLCMを最適化する方法を示す。
  論文  参考訳（メタデータ） (2024-10-31T07:48:44Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
  因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。 因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2024-04-09T14:40:08Z)
• Cause and Effect: Can Large Language Models Truly Understand Causality? [1.2334534968968969]
  本研究では,CARE CA(Content Aware Reasoning Enhancement with Counterfactual Analysis)フレームワークという新しいアーキテクチャを提案する。 提案するフレームワークには,ConceptNetと反ファクト文を備えた明示的な因果検出モジュールと,大規模言語モデルによる暗黙的な因果検出が組み込まれている。 ConceptNetの知識は、因果的発見、因果的識別、反事実的推論といった複数の因果的推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:02:14Z)
• Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning [14.219239732584368]
  本研究では,マルチホップ質問応答のための抽出された意味構造(グラフ)の構築と活用について検討する。 実験結果と人的評価の結果から、我々のフレームワークはより忠実な推論連鎖を生成し、2つのベンチマークデータセットのQA性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-07T05:32:39Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• Complex Logical Reasoning over Knowledge Graphs using Large Language Models [13.594992599230277]
  知識グラフ(KG)に対する推論は、エンティティ間の関係を深く理解する必要がある課題である。 現在のアプローチは、論理的なクエリ操作のために、ベクトル空間にエンティティを埋め込むための学習ジオメトリに依存している。 本稿では,文脈的KG探索と論理的クエリ推論を組み合わせた複雑なKG推論を定式化する,言語誘導型知識グラフによる抽象推論(LARK)を提案する。
  論文  参考訳（メタデータ） (2023-05-02T02:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。