論文の概要: LLMs Struggle to Perform Counterfactual Reasoning with Parametric Knowledge

• arxiv url: http://arxiv.org/abs/2506.15732v1
• Date: Sun, 15 Jun 2025 01:08:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.740417
• Title: LLMs Struggle to Perform Counterfactual Reasoning with Parametric Knowledge
• Title（参考訳）: LLMによるパラメトリック知識による対実的推論の実現
• Authors: Khurram Yamin, Gaurav Ghosal, Bryan Wilder,
• Abstract要約: 大規模言語モデルには、そのパラメータに広範な世界的知識が含まれており、多くの知識集約的なタスクに対する印象的なパフォーマンスを実現している。 しかし、新しい設定で展開する場合、LLMはしばしば、パラメトリック知識を新しい情報や馴染みのない情報と統合しなければならない状況に遭遇する。 この研究は、LLMが文脈内知識とパラメトリック知識を対実的推論のレンズを通して組み合わせることができるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 18.677808169753032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models have been shown to contain extensive world knowledge in their parameters, enabling impressive performance on many knowledge intensive tasks. However, when deployed in novel settings, LLMs often encounter situations where they must integrate parametric knowledge with new or unfamiliar information. In this work, we explore whether LLMs can combine knowledge in-context with their parametric knowledge through the lens of counterfactual reasoning. Through synthetic and real experiments in multi-hop reasoning problems, we show that LLMs generally struggle with counterfactual reasoning, often resorting to exclusively using their parametric knowledge. Moreover, we show that simple post-hoc finetuning can struggle to instill counterfactual reasoning ability -- often leading to degradation in stored parametric knowledge. Ultimately, our work reveals important limitations of current LLM's abilities to re-purpose parametric knowledge in novel settings.
• Abstract（参考訳）: 大規模言語モデルは、そのパラメータに広範な世界的知識を含んでいることが示されており、多くの知識集約タスクにおける印象的なパフォーマンスを可能にしている。 しかし、新しい設定で展開する場合、LLMはしばしば、パラメトリック知識を新しい情報や馴染みのない情報と統合しなければならない状況に遭遇する。 本研究では,LLMがコンテキスト内知識とパラメトリック知識を,対実的推論のレンズを通して組み合わせることができるかどうかを考察する。 マルチホップ推論問題における合成および実実験を通して、LLMは一般的に反実的推論に苦しむことを示し、しばしばパラメトリック知識のみを用いる。 さらに、簡単なポストホック微調整は、しばしば記憶されたパラメトリック知識の劣化につながる、反ファクト推論能力の注入に苦労する可能性があることを示す。 最終的に、我々の研究は、新しい環境でパラメトリック知識を再活用する現在のLLMの能力の重要な限界を明らかにした。

関連論文リスト

• Evaluating the External and Parametric Knowledge Fusion of Large Language Models [72.40026897037814]
  我々は、知識融合シナリオをシミュレートするデータ構築と知識注入のための体系的なパイプラインを開発する。 本研究は, LLMにおけるパラメトリック知識の強化が, 知識統合能力を大幅に向上させることを明らかにした。 本研究の目的は,LLM内の外部およびパラメトリック知識の調和を図ることにある。
  論文  参考訳（メタデータ） (2024-05-29T11:48:27Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Is Knowledge All Large Language Models Needed for Causal Reasoning? [11.476877330365664]
  本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。 本稿では,do-operativesを利用した新たな因果帰属モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-30T04:51:46Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。