論文の概要: Beyond Words: A Latent Memory Approach to Internal Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2502.21030v1
• Date: Fri, 28 Feb 2025 13:22:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:54.116213
• Title: Beyond Words: A Latent Memory Approach to Internal Reasoning in LLMs
• Title（参考訳）: Beyond Words: LLMの内部推論における遅延メモリアプローチ
• Authors: José I. Orlicki,
• Abstract要約: 本研究では,暗黙的な心的表現を大規模言語モデルの内部推論プロセスに統合する枠組みを提案する。 予備実験は、インプリシットメモリモジュールを単純なGPTモデルに組み込むことで、最終トレーニング損失の35%から57%の削減が得られることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advances in large language models (LLMs) have popularized the chain-of-thought (CoT) paradigm, in which models produce explicit reasoning steps in natural language. Although this approach improves interpretability and facilitates external auditing, it may not represent the most computationally efficient method for internal reasoning. In contrast, human cognition relies on implicit mental representations that recall past sensory and episodic information without requiring complete verbalization. In this paper, we propose a framework that integrates implicit mental representations into the internal reasoning processes of LLMs. Preliminary experiments indicate that incorporating an Implicit Memory Module (IMM) into a simple GPT model yields a reduction of between 35% and 57% in final training loss compared to a regular GPT baseline. The addition of an explicit interpretability channel (e.g., a chain-of-thought decoder) is straightforward to implement within this approach. We outline theoretical foundations, propose technical mechanisms to scale the memory module, and discuss how these ideas may lead to more efficient and robust reasoning, with optional future extensions for explicit auditability.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、モデルが自然言語の明確な推論ステップを創出する、チェーン・オブ・シント(CoT)パラダイムを普及させた。 このアプローチは解釈可能性を改善し、外部監査を容易にするが、内部推論において最も計算効率のよい手法ではないかもしれない。 対照的に、人間の認知は、完全な言語化を必要とせず、過去の感覚とエピソード情報を思い出す暗黙の精神的表現に依存している。 本稿では,暗黙的な心的表現をLCMの内部推論プロセスに統合する枠組みを提案する。 予備実験により、Implicit Memory Module (IMM) を単純なGPTモデルに組み込むことで、通常のGPTベースラインと比較して最終トレーニング損失の35%から57%の削減が得られることが示された。 明示的な解釈可能性チャネル(例えば、チェーン・オブ・シンクのデコーダ)の追加は、このアプローチで簡単に実装できます。 理論的基礎を概説し、メモリモジュールをスケールするための技術的メカニズムを提案し、これらのアイデアがより効率的で堅牢な推論にどのように繋がるかを議論する。

関連論文リスト

• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning [49.58786377307728]
  本稿では、類似推論のための制御された評価環境を導入することにより、探索的アプローチを採用する。 帰納的,帰納的,帰納的,帰納的な推論パイプラインの比較力学を解析する。 仮説選択や検証,洗練といった高度なパラダイムを考察し,論理的推論のスケールアップの可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Retrieval-Augmented Semantic Parsing: Using Large Language Models to Improve Generalization [6.948555996661213]
  本稿では,Retrieval-Augmented Semantic Parsing (RASP)を紹介する。 実験の結果,LLMはセマンティック解析において,従来のエンコーダ・デコーダベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-12-13T15:30:20Z)
• Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning [1.3003982724617653]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、一貫性のない推論に苦戦している。 本研究では,LLM出力の信頼性と透明性を高めるフレームワークであるProof of Thoughtを紹介する。 主な貢献は、論理的整合性を高めるためのソート管理を備えた堅牢な型システム、事実的知識と推論的知識を明確に区別するための規則の明示である。
  論文  参考訳（メタデータ） (2024-09-25T18:35:45Z)
• Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて印象的な機能を示している。 LLMは、しばしば明らかな誤りと矛盾のあるテキストを生成する。 本研究では,LLMにおける内部表現のレンズによる推論について検討する。
  論文  参考訳（メタデータ） (2024-05-29T02:44:12Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。