論文の概要: Unveiling Factual Recall Behaviors of Large Language Models through Knowledge Neurons

• arxiv url: http://arxiv.org/abs/2408.03247v1
• Date: Tue, 6 Aug 2024 15:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 13:48:07.692323
• Title: Unveiling Factual Recall Behaviors of Large Language Models through Knowledge Neurons
• Title（参考訳）: 知識ニューロンによる大規模言語モデルの実態的リコール行動の解明
• Authors: Yifei Wang, Yuheng Chen, Wanting Wen, Yu Sheng, Linjing Li, Daniel Dajun Zeng,
• Abstract要約: 本研究では,Large Language Models (LLMs) が推論タスクに直面すると,その内部知識のリポジトリを積極的にリコールするか,回収するかを検討する。 我々は,LLMが特定の状況下での批判的事実関連を活用できないことを明らかにした。 複雑な推論タスクに対処する強力な手法であるChain-of-Thought(CoT)プロンプトの効果を評価する。
• 参考スコア（独自算出の注目度）: 13.266817091775042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate whether Large Language Models (LLMs) actively recall or retrieve their internal repositories of factual knowledge when faced with reasoning tasks. Through an analysis of LLMs' internal factual recall at each reasoning step via Knowledge Neurons, we reveal that LLMs fail to harness the critical factual associations under certain circumstances. Instead, they tend to opt for alternative, shortcut-like pathways to answer reasoning questions. By manually manipulating the recall process of parametric knowledge in LLMs, we demonstrate that enhancing this recall process directly improves reasoning performance whereas suppressing it leads to notable degradation. Furthermore, we assess the effect of Chain-of-Thought (CoT) prompting, a powerful technique for addressing complex reasoning tasks. Our findings indicate that CoT can intensify the recall of factual knowledge by encouraging LLMs to engage in orderly and reliable reasoning. Furthermore, we explored how contextual conflicts affect the retrieval of facts during the reasoning process to gain a comprehensive understanding of the factual recall behaviors of LLMs. Code and data will be available soon.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) が推論タスクに直面すると,その内部知識のリポジトリを積極的にリコールするか,回収するかを検討する。 知識ニューロンによる各推論段階におけるLLMの内部的事実リコールの分析を通じて、LLMは特定の状況下での批判的事実関連を活用できないことが明らかとなった。 代わりに、彼らは理性的な疑問に答えるために、代替のショートカットのような経路を選択する傾向がある。 LLMにおけるパラメトリック知識のリコールプロセスを手動で操作することにより、このリコールプロセスの強化は推論性能を向上する一方、その抑制は顕著な劣化をもたらすことを示す。 さらに,複雑な推論タスクに対処する強力な手法であるChain-of-Thought(CoT)プロンプトの効果を評価する。 以上の結果から, CoT は LLM の順応的かつ信頼性の高い推論を奨励することにより, 事実的知識のリコールを促進できることが示唆された。 さらに,LLMの現実的リコール行動の包括的理解を得るために,文脈的コンフリクトが推論過程における事実の検索にどのように影響するかを考察した。 コードとデータは近く提供される。

関連論文リスト

• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback [14.120154004011084]
  LLM(Large Language Models)はしばしば幻覚と呼ばれる誤った出力を生成する。 知識フィードバックによる強化学習(Reinforcement Learning from Knowledge Feedback, RLKF)と呼ばれる新しいアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T08:39:56Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Temporal Knowledge Question Answering via Abstract Reasoning Induction [32.08799860090592]
  本研究では,Large Language Models(LLMs)における時間的知識推論の高度化という課題に対処する。 本稿では,時間的推論を知識非依存と知識に基づく2つのフェーズに分割する抽象推論誘導(ARI)フレームワークを提案する。 提案手法は,2つの時間的QAデータセットに対して29.7%と9.27%の相対的な向上を達成している。
  論文  参考訳（メタデータ） (2023-11-15T17:46:39Z)
• Concise and Organized Perception Facilitates Reasoning in Large Language Models [32.71672086718057]
  大規模言語モデル (LLM) は, 推論作業における乱雑な内容や無関係な内容を扱う際に, 人間の認知バイアスに類似した障害パターンを示す。 コンシス・アンド・オーガナイズド・パーセプション(COP)という新しい推論手法を提案する。 COPは与えられたステートメントを慎重に分析し、冗長性を効率的に排除しながら、最も関連する情報を識別する。
  論文  参考訳（メタデータ） (2023-10-05T04:47:49Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [91.30946119104111]
  大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts [21.34852490049787]
  本稿では,大規模言語モデル(LLM)の知識衝突時の行動に関する包括的かつ制御された最初の調査について述べる。 LLMは, パラメトリックメモリと矛盾しても, 外部の証拠に対して高い受容性を有することが判明した。 一方、LCMは、外部証拠がパラメトリックメモリと整合した情報を含む場合、強い確証バイアスを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。