論文の概要: Training Large Language Models to Reason in a Continuous Latent Space

• arxiv url: http://arxiv.org/abs/2412.06769v1
• Date: Mon, 09 Dec 2024 18:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:42.281271
• Title: Training Large Language Models to Reason in a Continuous Latent Space
• Title（参考訳）: 連続的な潜在空間における推論のための大規模言語モデルの訓練
• Authors: Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, Xian Li, Zhiting Hu, Jason Weston, Yuandong Tian,
• Abstract要約: 我々は,制約のない潜在空間における大規模言語モデル(LLM)推論の可能性を探るため,新しいパラダイムであるCoconut (Chain of Continuous Thought)を導入する。 実験により、ココナッツはいくつかの推論タスクにおいてLLMを効果的に増強できることが示されている。 これらの知見は、潜伏推論の可能性を実証し、将来の研究に価値ある洞察を与える。
• 参考スコア（独自算出の注目度）: 84.5618790930725
• License:
• Abstract: Large language models (LLMs) are restricted to reason in the "language space", where they typically express the reasoning process with a chain-of-thought (CoT) to solve a complex reasoning problem. However, we argue that language space may not always be optimal for reasoning. For example, most word tokens are primarily for textual coherence and not essential for reasoning, while some critical tokens require complex planning and pose huge challenges to LLMs. To explore the potential of LLM reasoning in an unrestricted latent space instead of using natural language, we introduce a new paradigm Coconut (Chain of Continuous Thought). We utilize the last hidden state of the LLM as a representation of the reasoning state (termed "continuous thought"). Rather than decoding this into a word token, we feed it back to the LLM as the subsequent input embedding directly in the continuous space. Experiments show that Coconut can effectively augment the LLM on several reasoning tasks. This novel latent reasoning paradigm leads to emergent advanced reasoning patterns: the continuous thought can encode multiple alternative next reasoning steps, allowing the model to perform a breadth-first search (BFS) to solve the problem, rather than prematurely committing to a single deterministic path like CoT. Coconut outperforms CoT in certain logical reasoning tasks that require substantial backtracking during planning, with fewer thinking tokens during inference. These findings demonstrate the promise of latent reasoning and offer valuable insights for future research.
• Abstract（参考訳）: 大きな言語モデル(LLM)は「言語空間」において推論に制限され、複雑な推論問題を解決するためにチェーン・オブ・シント(CoT)を用いて推論プロセスを表現するのが一般的である。 しかし、我々は言語空間が推論に最適であるとは限らないと論じる。 例えば、ほとんどのワードトークンは、主にテキストコヒーレンスのためのものであり、推論には必須ではない。 自然言語の代わりに制約のない潜在空間におけるLLM推論の可能性を探るため,ココナッツ(Continuous Thoughtのチェーン)という新しいパラダイムを導入する。 LLMの最後の隠れ状態は、推論状態("連続的思考"と呼ばれる)の表現として利用します。 これをワードトークンに復号するのではなく、連続空間に直接埋め込む入力としてLLMにフィードバックする。 実験により、ココナッツはいくつかの推論タスクにおいてLLMを効果的に増強できることが示されている。 連続的思考は、CoTのような1つの決定論的経路に早急にコミットするのではなく、複数の代替的推論ステップをエンコードし、モデルがパンスファースト探索(BFS)を実行して問題を解決することができる。 Coconutは、計画中にかなりのバックトラックを必要とする特定の論理的推論タスクにおいてCoTより優れており、推論時に思考トークンが少なくなる。 これらの知見は、潜伏推論の可能性を実証し、将来の研究に価値ある洞察を与える。

関連論文リスト

• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Markov Chain of Thought for Efficient Mathematical Reasoning [10.678633785012691]
  多段階の思考の連鎖(CoT)は、推論ステップとタスク固有のアクションの論理構造から恩恵を受ける。 我々は、標準多段階CoTを思考のマルコフ連鎖(MCoT)として概念化する。
  論文  参考訳（メタデータ） (2024-10-23T07:53:29Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study on Syllogism [19.590120229602103]
  大規模言語モデル(LLM)は、ステップバイステップの推論命令、例えばチェーン・オブ・シント(CoT)プロンプトを利用する。 本研究では, 否定に着目したLCMのステップバイステップ推論能力について検討する。
  論文  参考訳（メタデータ） (2023-10-23T12:40:41Z)
• Reason for Future, Act for Now: A Principled Framework for Autonomous LLM Agents with Provable Sample Efficiency [53.8779374188643]
  本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。 具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。 各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
  論文  参考訳（メタデータ） (2023-09-29T16:36:39Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。