論文の概要: A Tilted Bowl Is Not a Slippery Slope: Compressing Looped Models

• arxiv url: http://arxiv.org/abs/2609.39277v1
• Date: Wed, 30 Sep 2026 08:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.440029
• Title: A Tilted Bowl Is Not a Slippery Slope: Compressing Looped Models
• Title（参考訳）: 球技ボールはスリップスロープではない:ループしたモデルを圧縮する
• Abstract要約: ループモデルは、同じ重みのブロックを何度も適用することで理にかなった。 ループが落ち着くと、固定された丸め誤差は蓄積しない。 この写真では、どのモデルが1つのラベルなし測定で失敗するかを予測することができます。
• 参考スコア（独自算出の注目度）: 15.460381731793975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped models reason by applying the same block of weights many times, so compressing that block saves memory traffic on every loop. Compressed looped models, however, often collapse, and the collapse is usually blamed on rounding error that accumulates from loop to loop. In this work we test that account on more than 30 models from five families and find, to our surprise, that it holds only for loops that never settle. When a loop settles, a fixed rounding error does not accumulate. It moves the point where the loop settles, much as tilting a bowl moves where a ball comes to rest, and the answer is lost only when the shift is larger than the readout tolerates. This picture lets us predict which models fail from a single label-free measurement, and it tells us why failed models recover: their loops still settle, so a few final loops with 8-bit weights bring the answer back. Motivated by these findings, we build a controller that stops when the model's halting head fires and then finishes with 8-bit loops. On Sudoku-Extreme and Maze-Hard it beats fixed-depth inference by up to 15 points under a third of the weight traffic.
• Abstract（参考訳）: ループモデルでは、同じ重みのブロックを何度も適用することで、そのブロックを圧縮することで、すべてのループでメモリトラフィックを節約できる。 しかし、圧縮ループモデルはしばしば崩壊し、その崩壊はループからループへ蓄積する丸め誤差に起因している。 この研究で、私たちは5つのファミリーから30以上のモデルについてテストを行い、驚いたことに、それは決して落ち着かないループにしか当てはまらないということを見つけました。 ループが落ち着くと、固定された丸め誤差は蓄積しない。 ボールが落ち着いた地点を移動し、ボウルを傾けるとボールが休むところを移動し、シフトがリードアウトよりも大きいときだけ解答が失われる。 この写真では、どのモデルが1つのラベルのない測定で失敗するかを予測することができ、失敗したモデルが回復した理由を教えてくれます。 これらの発見に触発され、モデルが停止した時に停止し、8ビットのループで終了するコントローラを構築しました。 Sudoku-ExtremeとMaze-Hardでは、重量トラフィックの3分の1以下で、固定深度推定を最大15ポイント上回っている。

関連論文リスト

• Ceiling of a Task: When Can a Transformer Succeed Without Its Chain of Thought? [83.98403694325687]
  推論モデルは、答える前に長いチェーンの思考を生成する。 これらの鎖の内容が実際の計算作業を行うか、大半が装飾的であるかが議論されている。 各変圧器に保持されるシリアルタスクについて3つの結果を示す。
  論文  参考訳（メタデータ） (2026-09-27T03:02:40Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting [49.70827726228219]
  このツールキットは、人間の手による実演のシングルビューRGBステレオ記録を、物理で検証可能なロボットアーム軌道に変換する。 DemoBridgeの中核は、衝突を意識した単一のプランナーである。 物理シミュレーターはループ内で動作し、生成した各フェーズを検証し、障害時にバックトラックするので、与えられたように再生できないデモは破棄されるのではなく、再計画される。
  論文  参考訳（メタデータ） (2026-07-10T15:31:04Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• Can Editing 1 Neuron Fix Repetition Loops in LLMs? [5.310892696470208]
  Gemma 4の命令チューニングモデルは再現可能な失敗を共有している。 これらのループは95%の速度で発生し、即時リワードを継続する。 本稿では,この動作が重み編集によって除去できるほど局所化されているかを検討する。
  論文  参考訳（メタデータ） (2026-06-09T21:20:57Z)
• Circular Reasoning: Understanding Self-Reinforcing Loops in Large Reasoning Models [66.11277323593475]
  Circular Reasoningは、生成されたコンテンツが自身の再発の論理的前提として機能する自己強化トラップである。 機械学的には、円の推論は異なる境界を示す状態崩壊として特徴付けられる。 自己強化型V字型アテンション機構によって駆動される不自由なサイクルとして継続するループ開始を誘導する推論が阻害されることを明らかにする。
  論文  参考訳（メタデータ） (2026-01-09T10:23:55Z)
• Wait, Wait, Wait... Why Do Reasoning Models Loop? [38.291893062636035]
  推論モデルは、しばしばループし、同じテキストを低温または強欲な復号で繰り返します。 開理モデルでは、ループは低温では一般的である。 このことは、トレーニング分布と学習モデルのミスマッチを指し、学習におけるエラーと呼ぶ。
  論文  参考訳（メタデータ） (2025-12-15T00:44:54Z)
• Reasoning with Latent Thoughts: On the Power of Looped Transformers [52.84192961524481]
  多くの合成推論問題に対して、$k$層変換器が$L$倍ループしたことが、$kL$層非ループモデルの性能にほぼ一致することを示す。 ループ型および非ループ型モデルは、その有効深さに依存するスケーリングの挙動を示す。
  論文  参考訳（メタデータ） (2025-02-24T18:49:05Z)
• Weakly measured while loops: peeking at quantum states [0.0]
  whileループは、量子コンピュータ上の各イテレーションで終了条件をテストする。 弱い測定値を用いて時間ループプリミティブを定義し、摂動と反復毎に得られる情報量とのトレードオフを提供する。 任意に高い確率で、ループが実行するイテレーションの数を最悪のケースで見積もることができる十分な条件を提供しています。
  論文  参考訳（メタデータ） (2020-09-18T13:33:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。