Fugu-MT 論文翻訳(概要): Think Deep, Speak Once: Relit, A Recursive Latent Implicit Transformer Framework

論文の概要: Think Deep, Speak Once: Relit, A Recursive Latent Implicit Transformer Framework

arxiv url: http://arxiv.org/abs/2608.08113v1
Date: Sat, 08 Aug 2026 12:50:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:36.679666
Title: Think Deep, Speak Once: Relit, A Recursive Latent Implicit Transformer Framework
Title（参考訳）: Relit, Recursive Latent Implicit Transformer Framework
Abstract要約: 本稿では,暗黙的推論を深く,意味的に基礎づけたハイブリッドフレームワークReLITを紹介する。 ReLITはパラメータ幅ではなく、繰り返しの深さで効率的にスケール可能であることを示す。これらの結果から,パラメータ幅ではなく再帰的な深さで推論能力を効率的に拡張できることが示唆された。
参考スコア（独自算出の注目度）: 2.007262412327553
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chain-of-Thought (CoT) prompting has become the dominant paradigm for eliciting reasoning in Large Language Models (LLMs), yet it creates substantial computational overhead by forcing models to externalize intermediate reasoning steps as discrete tokens. Recent latent reasoning approaches attempt to internalize this process within continuous hidden states. One of the latest advancements in the field of latent reasoning, Tiny Recursive Models (TRMs) excel at symbolic reasoning but struggle to preserve semantic coherence in natural language settings. To bridge this gap, we introduce ReLIT (Recursive Latent Implicit Transformer), a hybrid framework that grounds deep recursive reasoning within the rich semantic representations of a foundational model. ReLIT augments a frozen LLM backbone (TinyLlama-1.1B) with a lightweight, trainable recursive block that iteratively refines its latent thinking (z) before committing to a final output, structurally solving linguistic intuition from algorithmic processing and enabling "deep thinking" via gradient-isolated recurrent loops without the latency of explicit token generation. Empirically, ReLIT achieves high parameter efficiency on the GLoRE logical reasoning benchmark, matching or outperforming significantly larger models on challenging tasks such as ProofWriter and RuleTaker despite minimal supervision. These results demonstrate that reasoning capability can be scaled efficiently through recurrent depth rather than parameter width, offering a principled framework for semantically grounded implicit reasoning.
Abstract（参考訳）: CoT(Chain-of-Thought)プロンプトは、Large Language Models (LLMs) における推論を導く主要なパラダイムとなっているが、モデルに中間推論ステップを離散トークンとして外部化させることで、かなりの計算オーバーヘッドを生み出す。最近の潜在的推論手法は、このプロセスを連続的に隠された状態に内在化しようとする。潜在推論の分野における最新の進歩の1つとして、Tiny Recursive Models (TRMs) は象徴的推論において優れているが、自然言語設定における意味的一貫性を維持するのに苦労している。このギャップを埋めるために、基礎モデルのリッチな意味表現の中に深い再帰的推論を基盤とするハイブリッドフレームワークであるReLIT(Recursive Latent Implicit Transformer)を導入する。 ReLITは、LLMバックボーン(TinyLlama-1.1B)を軽量で訓練可能な再帰ブロックで拡張し、最終的な出力にコミットする前に遅延思考(z)を反復的に洗練し、アルゴリズム処理からの言語的直感を構造的に解決し、明示的なトークン生成の遅延を伴わずに勾配に分離された繰り返しループを通じて「深い思考」を可能にする。実証的には、ReLITはGLoRE論理推論ベンチマークで高いパラメータ効率を達成し、最小限の監督にもかかわらずProofWriterやRe RuleTakerといった課題タスクにおいて、かなり大きなモデルにマッチするか、性能を上回ります。これらの結果は,パラメータ幅よりも繰り返し深度で推論能力を効率的に拡張できることを示し,意味論的根拠に基づく暗黙的推論のための原則的枠組みを提供する。

関連論文リスト

Generative Recursive Reasoning [67.22973831501257]
Generative Recursive ReAsoning Models (GRAM) は、潜在的推論を確率論的多軌道に変換するフレームワークである。 GRAMは$p_(y mid x)$で条件推論をサポートし、固定または欠落した入力では$p_(x)$で条件生成を行う。
論文参考訳（メタデータ） (2026-05-19T05:20:56Z)
LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval [74.72139580745511]
LaSERは、レトリバーの潜在空間に明示的な推論を内部化する、新しい自己蒸留フレームワークである。提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。
論文参考訳（メタデータ） (2026-03-02T04:11:18Z)
CoLT: Reasoning with Chain of Latent Tool Calls [31.228763375347608]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)の推論能力を高める重要な手法である。ツールコールとして潜伏推論を実装する新しいフレームワークである「CoLT」を提案する。
論文参考訳（メタデータ） (2026-02-04T06:12:53Z)
ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
明示的な推論連鎖は、かなりの計算冗長性をもたらす。近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
論文参考訳（メタデータ） (2026-01-30T17:08:06Z)
Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
論文参考訳（メタデータ） (2026-01-29T07:38:18Z)
Step-Aware Policy Optimization for Reasoning in Diffusion Large Language Models [57.42778606399764]
拡散言語モデル(dLLM)は、テキスト生成に有望で非自己回帰的なパラダイムを提供する。現在の強化学習アプローチは、しばしばスパースで結果に基づく報酬に頼っている。これは推論の自然な構造との根本的なミスマッチに由来すると我々は主張する。
論文参考訳（メタデータ） (2025-10-02T00:34:15Z)
A Survey on Latent Reasoning [100.54120559169735]
大きな言語モデル(LLM)は印象的な推論機能を示している。中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
論文参考訳（メタデータ） (2025-07-08T17:29:07Z)
Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
論文参考訳（メタデータ） (2025-07-02T23:35:21Z)
ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文参考訳（メタデータ） (2025-06-23T16:20:44Z)
Efficient Reasoning with Hidden Thinking [48.96945580741641]
CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
論文参考訳（メタデータ） (2025-01-31T15:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。