論文の概要: Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.19768v1
• Date: Wed, 14 Oct 2026 08:19:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.033837
• Title: Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
• Title（参考訳）: ループ変換器の保持や再利用をコンピュータで学べない
• Abstract要約: ループ変換器は1ブロックを繰り返し適用することで計算するので、トレーニングされたよりも多くのループを実行することができる。 トレーニングされた深さを繰り返すことは、正しい答えを間違ったものに変えることができます。 これらのケースは、シミュレータが中間目標と正確な反事実を隠蔽状態の介入のために供給する、コンテキスト内でのMealy-machine実行で分離する。
• 参考スコア（独自算出の注目度）: 8.624326186906979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped transformers compute by applying one block repeatedly, so they can run for more loops than they were trained with. Recurrent reasoners are known to overthink: iterating past the trained depth can turn a correct answer into a wrong one. Such a late error can reflect failed computation, loss of retention, or a state that later computation cannot reuse. We separate these cases in in-context Mealy-machine execution, where a simulator supplies intermediate targets and exact counterfactuals for hidden-state interventions. Models trained to answer at loop 32 are fully correct there but keep only 22% of these answers at loop 64. Retention depends on what training asks for: supervising one randomly chosen position per example, instead of always the last, keeps 99.8%, and randomizing the number of training loops also helps; truncating gradients, as in progressive training against overthinking, does not. The computation itself is exact: position $k$ is computed at loop $k$, and swapping its loop-$k$ hidden vector for the one from another input redirects every later position to that input's exact continuation (237/237 pairs in each of ten models). Retention, however, is not reuse. Even in models that keep nearly all answers, holding each position $k$ fixed from loop $k$ drops accuracy to 4--6%, whereas holding it from loop $k+4$ is harmless. A released recurrent maze network trained to avoid overthinking behaves the same way. Learning to compute is thus not learning to retain, and avoiding overthinking does not make a state reusable when its answer first appears.
• Abstract（参考訳）: ループ変換器は1ブロックを繰り返し適用することで計算するので、トレーニングされたよりも多くのループを実行することができる。 トレーニングされた深さを繰り返すことは、正しい答えを間違ったものに変えることができます。 このような遅延エラーは、失敗した計算、保持の喪失、あるいは後の計算では再利用できない状態を反映することができる。 これらのケースは、シミュレータが中間目標と正確な反事実を隠蔽状態の介入のために供給する、コンテキスト内でのMealy-machine実行で分離する。 ループ32で回答するように訓練されたモデルは、完全に正しいが、ループ64では22%しか答えを保っていない。 保持は、例ごとにランダムに選択された1つの位置を監督し、常に99.8%を維持し、トレーニングループの数をランダムにすることでも役立ちます。 位置$k$はループ$k$で計算され、ループ$k$隠れベクターを他の入力から入れ替えると、後続の全ての位置をその入力の正確な継続(各10モデルの237/237ペア)にリダイレクトする。 しかし、保持は再利用されていない。 ほぼすべての答えを保持するモデルでも、ループ$k$から固定された各位置を4-6%まで下げるが、ループ$k+4$から保持する場合には無害である。 過度に考えることを避けるためにトレーニングされた、リリースされた繰り返し迷路ネットワークも同じように振る舞う。 したがって、計算の学習は維持する学習ではなく、過度に考えることを避けることは、その答えが最初に現れると、状態を再利用しない。

関連論文リスト

• One Model to Loop Them All: Elastic Latent Recurrence for Language Models [42.54052939692861]
  Elastic Latent Recurrence (ELR)は、1ループ税なしでループ言語モデルをトレーニングするためのレシピである。 ステップサイズを学習したゲート状態更新、更新毎にループカウントが混在し、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。
  論文  参考訳（メタデータ） (2026-10-08T18:05:42Z)
• Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals [21.511459992370188]
  本稿では,ループ変換器は繰り返し数の増加に伴って性能劣化を防止するために,それぞれが残余接続を必要とすることを論じる。 InfiLoopはループネイティブな残余接続で、どの過去の計算が保持すべきか、新しい更新毎にどれくらいの量を受け入れるかを学ぶ。
  論文  参考訳（メタデータ） (2026-10-08T09:26:21Z)
• SanSi: A Looped Typed Decision Model for System 1.5 Thinking [25.412761430847365]
  我々は、1つのパスと生成された推論の間に何が存在するかを研究する。 本研究では,事前学習したループ言語モデルを型決定モデルに変換するSanSiを提案する。 59のソースから10,027のテスト判断で、SanSiは72.0%の精度に達した。
  論文  参考訳（メタデータ） (2026-10-06T04:28:22Z)
• Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does [40.71142599085565]
  ループトランスフォーマーは繰り返し同じトランスフォーマー層を適用し、遅延計算の繰り返しアーキテクチャを提供する。 それぞれのループが実際に同じことを繰り返すのか、そうでなければ、どの共有パラメータを異なる操作にルーティングするのか? 凍結したループは、その入射した隠れ状態を変更することで、異なる遷移に向けて操れることを示す。
  論文  参考訳（メタデータ） (2026-09-30T14:59:21Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models [33.509836193149795]
  ループ(深度再帰)言語モデルにどれだけの余分な再発があるかを測定する。 本手法は任意のループ化LMに適用し,真のループ改善をトークン予算ゲインから分離する。
  論文  参考訳（メタデータ） (2026-04-22T21:51:11Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。