Fugu-MT 論文翻訳(概要): From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers

論文の概要: From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers

arxiv url: http://arxiv.org/abs/2610.11472v1
Date: Thu, 08 Oct 2026 08:21:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 02:36:53.889485
Title: From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers
Title（参考訳）: Chain-of-ThoughtからLoops:Looped Transformerによる非自己回帰潜在推論
Abstract要約: CoT(Chain-of- Thought)推論は、モデルに応答する前に計算を追加することにより、言語モデルのパフォーマンスを向上する。ほとんどの自己回帰的潜伏推論法は、潜伏ベクトル間の左から右への依存を保っている。 LLoCoT(LLoCoT:LLoCoT:LLoCoT:LLoCoT)は、左から右へのラテント生成を、コンパクトなラテントワークスペースの反復的洗練に置き換えるループ化ラテント推論フレームワークである。
参考スコア（独自算出の注目度）: 6.757287832481537
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chain-of-thought (CoT) reasoning often improves language-model performance by giving models additional computation before answering. However, explicit CoT expresses this computation as a sequence of autoregressively generated tokens. Latent reasoning replaces these tokens with compact continuous states, but most autoregressive latent-reasoning methods retain a left-to-right dependency among latent vectors. We introduce LLoCoT: a looped latent-reasoning framework that replaces left-to-right latent generation with iterative refinement of a compact latent workspace. A shared transformer is reapplied for a small number of refinement iterations, jointly updating the latent slots based on the prompt and the evolving workspace state. Using the refined state, a probabilistic head predicts a distribution from which latent tokens are sampled in parallel and used to condition an autoregressive decoder for answer generation. Training uses continuous representations derived from explicit CoT together with a final-answer prediction loss and likelihood-based supervision of the latent states. Across HumanEval and MBPP, LLoCoT achieves the highest mean among the evaluated methods, performing on par in accuracy with Reasoning SFT, our explicit-CoT baseline, while outperforming the base model, answer-only SFT and NF-CoT. Relative to Reasoning SFT, LLoCoT reduces time to the first answer token by approximately $36\times$ and reasoning-phase latency by approximately $42\times$, while increasing end-to-end throughput by $9.2\%$. This design replaces serial thought generation with parallel latent-slot refinement while retaining probabilistic latent modeling and autoregressive answer decoding.
Abstract（参考訳）: チェーン・オブ・シント(CoT)推論は、応答する前にモデルに計算を追加することで言語モデルのパフォーマンスを向上することが多い。しかし、明示的なCoTはこの計算を自己回帰的に生成されたトークンの列として表現している。潜在推論はこれらのトークンをコンパクトな連続状態に置き換えるが、ほとんどの自己回帰的潜在推論法は潜在ベクトル間の左から右への依存を保っている。 LLoCoT(LLoCoT:LLoCoT:LLoCoT:LLoCoT)は、左から右へのラテント生成を、コンパクトなラテントワークスペースの反復的洗練に置き換えるループ化ラテント推論フレームワークである。共有トランスを少数の改良イテレーションに再適用し、プロンプトと進化するワークスペース状態に基づいて潜在スロットを共同で更新する。この洗練された状態を用いて、確率的ヘッドは、潜在トークンが並列にサンプリングされる分布を予測し、応答生成のための自己回帰デコーダを条件に使用する。トレーニングでは、明示的なCoTから導かれる連続表現と、最終回答の予測損失と潜伏状態の確率に基づく監視を使用する。また,HumanEval と MBPP 全体では,LLoCoT が評価手法の中で最も高い平均値を達成し,Rasoning SFT,我々の明示的な-CoT ベースラインであるReasoning SFT と同等の精度で動作し,ベースモデル,回答のみの SFT と NF-CoT を上回った。推論 SFT とは対照的に、LLoCoT は最初の応答トークンまで時間を約36\times$、推論フェーズのレイテンシを約42\times$、エンドツーエンドのスループットを9.2\%$に短縮する。この設計は、確率的潜在モデリングと自己回帰応答復号を維持しながら、シリアル思考生成を並列潜在スロット改善に置き換える。

関連論文リスト

Think Wider: Mitigating Latent Rank Collapse in Implicit Chain-of-Thought Reasoning [3.216436532980238]
CoT推論(Chain-of-Thought reasoning)は、中間計算を導入することにより、大規模言語モデルの推論能力を向上させる。しかし、明確な論理はデコードの長さ、レイテンシ、コンテキストコストを増大させる。 Implicit CoTは、中間的推論を連続的な潜在状態に移すことにより、より効率的な代替手段を提供する。
論文参考訳（メタデータ） (2026-09-07T12:18:51Z)
Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs [16.72007494160683]
チェーン・オブ・シント推論は離散トークン空間で展開される。代わりにモデルの連続表現空間で推論する。これを遅延リカレント思考とみなす。
論文参考訳（メタデータ） (2026-09-01T11:56:17Z)
Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。再帰計算を選択されたデコーダ間隔にローカライズする。確立された潜在推論モデルと比較して、競争精度が向上する。
論文参考訳（メタデータ） (2026-07-28T16:06:46Z)
Latent Thought Flow: Efficient Latent Reasoning in Large Language Models [23.52673819075993]
本稿では,可変長連続軌道をモデルとした潜在思考フロー(LTF)を提案する。微調整と転写学習による実験では、LTFは明示的なCoTおよび潜在推論基準よりも優れており、精度は9.5%向上し、推論長は平均27.2%低下している。
論文参考訳（メタデータ） (2026-06-15T05:02:46Z)
Latent Reasoning with Normalizing Flows [28.667586095105097]
NF-CoTは,フローの正規化を伴う連続的な思考をモデル化することにより,利点を保った潜在的推論フレームワークである。 NF-CoT は LLM バックボーン内の TARFlow スタイルの正規化フローをインスタンス化し、明示的な CoT から蒸留したコンパクトな連続的思考に対して、抽出可能な確率モデルを定義する。コードジェネレーションベンチマークでは、NF-CoTは、明示的なCoTおよび先行潜在推論ベースラインよりもパスレートを向上し、中間推論コストを大幅に削減する。
論文参考訳（メタデータ） (2026-06-04T17:44:17Z)
SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
論文参考訳（メタデータ） (2025-09-24T17:01:32Z)
R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文参考訳（メタデータ） (2025-07-23T08:14:36Z)
Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文参考訳（メタデータ） (2025-05-19T11:30:41Z)
COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文参考訳（メタデータ） (2024-10-12T23:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。