論文の概要: When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers
- arxiv url: http://arxiv.org/abs/2607.20594v1
- Date: Wed, 22 Jul 2026 16:04:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.179263
- Title: When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers
- Title（参考訳）: 再帰はアルゴリズムになるのか? -重み付きループ変換器の収束選択-
- Abstract要約: 重み付きループ変換器 -- 1ブロック適用T倍 -- はアルゴリズムを実装しているのか?
本研究は,集団語問題における制御人口の4つの結果から回答する。
- 参考スコア（独自算出の注目度）: 17.78341274611665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When does a weight-tied looped transformer -- one block applied T times -- implement an actual algorithm? We answer with four findings from controlled populations on group word problems. (1) The budget law: free training installs a linear computation frontier, a mechanism that solves v positions per loop, whose speed is priced by the training contract: v ~ n_train/T_train (exponent 0.98 +/- 0.04, R^2=0.99), exactly unity under T=n training. SGD selects a frontier matching the minimum the contract demands; granting more test-time loops than ever trained rescues late positions at fixed input length, yielding a principled halting rule T* = ceil(n / v-hat). (2) Architecture prior, not expressivity, picks the algorithm: standard-depth transformers learn parallel scans on this family; weight tying flips the selection to the serial frontier, even when positional addressing for a log-depth scan is supplied. At matched depth and parameters, untied models extrapolate worst and fail to learn A5 at all. (3) The walls are not where circuit complexity says: NC1-completeness costs nothing (A5 generalizes fully), while group order does (S5's 120x120 operator deadlocks joint learning) -- and an operator-first curriculum dissolves the wall in every seed. (4) Mechanisms are portable, not mandatable: warm-starting across budget contracts transfers the algorithm in every seed, re-pricing its speed, while imposing seriality through the input schedule fails where free training succeeds. These results are invisible to standard instruments, which provably saturate at the fixed points trained loops converge to. We introduce a head instrument, the convergence-time scaling tau(n,i), validate it causally via damage cones whose slope reproduces v, and show in-distribution head measurements predict out-of-distribution fate where tail metrics do not. Results replicate on the public easy-to-hard benchmark.
- Abstract（参考訳）: 重み付きループ変換器 -- 1ブロックのT倍適用 – が実際のアルゴリズムを実装するのはいつか?
本研究は,集団語問題における制御人口の4つの結果から回答する。
1) 予算法:自由トレーニングは、ループ当たりのV位置を解くメカニズムである線形計算フロンティアをインストールし、その速度はトレーニング契約により価格が設定される: v ~ n_train/T_train (exponent 0.98 +/- 0.04, R^2=0.99)。
SGDは、契約要求の最小値に一致するフロンティアを選択し、訓練済みの救助隊が所定入力長で遅れた位置より多くのテスト時間ループを付与し、原則化された停止規則T* = ceil(n / v-hat)を与える。
2) 標準深度変換器はこの家系の並列スキャンを学習し, 対数深度スキャンのための位置アドレスが供給された場合でも, 重み付けはシリアルフロンティアに選択を反転させる。
一致した深さとパラメータでは、未処理のモデルは最悪を誇張し、A5を全く学ばない。
NC1完全性は(A5が完全に一般化)、グループ順序は(S5の120x120演算子デッドロックは共同学習)、演算子第一のカリキュラムはすべてのシードで壁を溶解する。
(4) 機械は可搬性があり、手動ではない: 予算契約を通したウォームスタートは、アルゴリズムをすべてのシードで転送し、その速度を再び値下げする一方で、入力スケジュールを通じてシリアリティを課すことは、フリートレーニングが成功する場合に失敗する。
これらの結果は、訓練されたループが収束する固定点において確実に飽和する標準楽器には見えない。
本稿では, ヘッドインスツルメンツ, 収束時間スケールタウ(n, i)を導入し, 傾斜がvを再現する損傷円錐を用いて因果的に評価し, テール計測ができない場合の分布外運命を予測する。
結果は公開し易いベンチマークで再現される。
関連論文リスト
- HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳（メタデータ） (2026-09-01T18:02:02Z) - The Cost of Adaptivity: Matching Lower Bounds Across Learning Problems [1.0742675209112622]
我々はスライス正規化ミニマックス比を用いてニュアンス適応を定式化する。
また、事前発表された1つのガウスクエリから任意のポストホックインスペクションへ拡張するコストを定義する。
論文 参考訳（メタデータ） (2026-08-09T17:19:11Z) - Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳（メタデータ） (2026-06-29T08:58:09Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。
Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。
多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
論文 参考訳（メタデータ） (2026-05-27T15:17:06Z) - Decoupled Continuous-Time Reinforcement Learning via Hamiltonian Flow [1.8824572526199168]
現実世界の制御問題は、一様でイベント駆動的な決定で連続的に進化する。
時間ギャップが縮むと、$Q$関数は値関数$V$に崩壊し、アクションランキングがなくなる。
既存の連続時間メソッドは、利益率関数$q$でアクション情報を再導入する。
本稿では,更新を交互に行う新しい非結合型連続時間アクター批判アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-02-16T09:35:25Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Linear Transformers Implicitly Discover Unified Numerical Algorithms [28.247731784318404]
数百万のマスクブロック行列完了タスクに対して線形アテンション変換器を訓練する。
モデルでは入力出力対と平均二乗損失しか見ていないが、通常の方程式や手作りの反復は与えられず、タスクが関連しているというヒントも与えられていない。
我々は,このルールが完全バッチ問題に対する2次収束を実現し,分散イテレーションの複雑さを減らし,ランク限定の注意を払って精度を保っていることを証明した。
論文 参考訳（メタデータ） (2025-09-24T02:19:04Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳（メタデータ） (2022-08-19T19:42:41Z) - Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。
探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。
我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文 参考訳（メタデータ） (2022-08-09T02:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。