論文の概要: Internalizing Chain-of-thought into Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.25998v1
• Date: Mon, 19 Oct 2026 08:22:11 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:43:07.754625
• Title: Internalizing Chain-of-thought into Looped Transformers
• Title（参考訳）: ループ変換器の内部化
• Abstract要約: チェーン・オブ・シント(CoT)は、定数ビットサイズのトランスフォーマーが汎用的な計算を行うことを可能にする。 我々はCoTと潜在思考を補間する定数ビットサイズのループ変換器群を構築する。
• 参考スコア（独自算出の注目度）: 6.921352170442561
• License:
• Abstract: Chain-of-thought (CoT) enables constant-bit-size transformers to perform general-purpose computation through generated tokens (Li and Wang, 2025a), whereas looped transformers carry out the same computation by recurrence in hidden states (latent thought). We construct a family of constant-bit-size looped transformers that interpolates between CoT and latent thought. For a prescribed loop count $L=L(n)$ and a fixed integer $k\ge1$ satisfying $s(n)^{1/k}=Ω(L)$, our transformer simulates a time-$t(n)$, space-$s(n)$ Turing machine using a context window of $O(s(n)/L)$ and $O(t(n)s(n)^{1/k}/L)$ generated tokens, reducing both resources by a factor of $L$ relative to the corresponding unlooped queue-machine simulation. The construction also holds with softmax attention at constant bit-size, under the finite-precision kernel specified in this paper.
• Abstract（参考訳）: チェーン・オブ・シント(CoT)は、生成したトークン(Li, Wang, 2025a)を通して、定数ビットサイズの変換器が汎用的な計算を行うのに対して、ループ変換器は同じ計算を隠された状態(ラテント思考)で繰り返し行う。 我々はCoTと潜在思考を補間する定数ビットサイズのループ変換器群を構築する。 所定のループカウント$L=L(n)$と固定整数$k\ge1$を満たす$s(n)^{1/k}=Ω(L)$に対して、我々の変換器は、コンテキストウィンドウ$O(s(n)/L)$と$O(t(n)s(n)^{1/k}/L)$を使用して、時間-$t(n)$, space-$s(n)$チューリングマシンをシミュレートする。 本論文では, 有限精度カーネルの下で, 一定ビットサイズでのソフトマックスの注意も維持する。

関連論文リスト

• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• Exact Expressive Power of Transformers with Padding [33.4994300801846]
  O(logd n)$ looping on inputs of length recognize exactly the class $mathsfFO$uniform $mathsfTCd$ moderately parallelizable problem。 この結果は,テスト時間計算における思考の連鎖に対する並列化可能な代替手段として,パディングとループのさらなる探索を動機付けている。
  論文  参考訳（メタデータ） (2025-05-25T02:52:15Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。