論文の概要: Disentangling Memory and Reasoning Ability in Large Language Models

• arxiv url: http://arxiv.org/abs/2411.13504v1
• Date: Wed, 20 Nov 2024 17:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:34.620207
• Title: Disentangling Memory and Reasoning Ability in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける記憶と推論能力の相違
• Authors: Mingyu Jin, Weidi Luo, Sitao Cheng, Xinyi Wang, Wenyue Hua, Ruixiang Tang, William Yang Wang, Yongfeng Zhang,
• Abstract要約: 本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
• 参考スコア（独自算出の注目度）: 97.26827060106581
• License:
• Abstract: Large Language Models (LLMs) have demonstrated strong performance in handling complex tasks requiring both extensive knowledge and reasoning abilities. However, the existing LLM inference pipeline operates as an opaque process without explicit separation between knowledge retrieval and reasoning steps, making the model's decision-making process unclear and disorganized. This ambiguity can lead to issues such as hallucinations and knowledge forgetting, which significantly impact the reliability of LLMs in high-stakes domains. In this paper, we propose a new inference paradigm that decomposes the complex inference process into two distinct and clear actions: (1) memory recall: which retrieves relevant knowledge, and (2) reasoning: which performs logical steps based on the recalled knowledge. To facilitate this decomposition, we introduce two special tokens memory and reason, guiding the model to distinguish between steps that require knowledge retrieval and those that involve reasoning. Our experiment results show that this decomposition not only improves model performance but also enhances the interpretability of the inference process, enabling users to identify sources of error and refine model responses effectively. The code is available at https://github.com/MingyuJ666/Disentangling-Memory-and-Reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、豊富な知識と推論能力の両方を必要とする複雑なタスクを扱う上で、強力なパフォーマンスを示している。 しかし、既存のLLM推論パイプラインは、知識検索と推論ステップを明確に分離することなく、不透明なプロセスとして動作し、モデルの意思決定プロセスが不明確かつ非組織化される。 この曖昧さは、幻覚や知識の忘れなどの問題を引き起こし、高い領域におけるLLMの信頼性に大きな影響を及ぼす。 本稿では,複雑な推論プロセスを,(1)記憶リコール:関連する知識を検索する,(2)推論:リコールされた知識に基づいて論理的なステップを実行する,という2つの明確な行動に分解する新しい推論パラダイムを提案する。 この分解を容易にするために,知識検索を必要とするステップと推論を伴うステップを区別するためのモデルとして,メモリと推論の2つの特別なトークンを導入する。 実験の結果, この分解によってモデル性能が向上するだけでなく, 推論プロセスの解釈可能性も向上し, ユーザが誤りの原因を同定し, モデル応答を効果的に洗練することができることがわかった。 コードはhttps://github.com/MingyuJ666/Disentangling-Memory-and-Reasoningで入手できる。

関連論文リスト

• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Unveiling Factual Recall Behaviors of Large Language Models through Knowledge Neurons [13.266817091775042]
  本研究では,Large Language Models (LLMs) が推論タスクに直面すると,その内部知識のリポジトリを積極的にリコールするか,回収するかを検討する。 我々は,LLMが特定の状況下での批判的事実関連を活用できないことを明らかにした。 複雑な推論タスクに対処する強力な手法であるChain-of-Thought(CoT)プロンプトの効果を評価する。
  論文  参考訳（メタデータ） (2024-08-06T15:07:08Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
  このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。 以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。 このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
  論文  参考訳（メタデータ） (2024-07-19T17:41:08Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Concise and Organized Perception Facilitates Reasoning in Large Language Models [32.71672086718057]
  大規模言語モデル (LLM) は, 推論作業における乱雑な内容や無関係な内容を扱う際に, 人間の認知バイアスに類似した障害パターンを示す。 コンシス・アンド・オーガナイズド・パーセプション(COP)という新しい推論手法を提案する。 COPは与えられたステートメントを慎重に分析し、冗長性を効率的に排除しながら、最も関連する情報を識別する。
  論文  参考訳（メタデータ） (2023-10-05T04:47:49Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• ReAct: Synergizing Reasoning and Acting in Language Models [44.746116256516046]
  大規模言語モデル (LLM) は, 推論トレースとタスク固有動作の両方を, インターリーブ方式で生成可能であることを示す。 我々はReActという名前のアプローチを多種多様な言語と意思決定タスクに適用する。 ReActは、単純なウィキペディアAPIと対話することで、チェーン・オブ・ソート推論でよく見られる幻覚やエラーの伝播の問題を克服する。
  論文  参考訳（メタデータ） (2022-10-06T01:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。