論文の概要: Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

• arxiv url: http://arxiv.org/abs/2606.24898v1
• Date: Fri, 12 Jun 2026 13:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-28 23:46:52.326323
• Title: Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models
• Title（参考訳）: Dense Supervision:ループ言語モデルにおける読み出し盲点
• Abstract要約: ループごとのクロスエントロピーは、再帰遷移でアクティブな全ての変数ではなく、読み出しによって露出される変数を制御する。 44M と 19M のループ正規化のないループ変換器では、ループ間クロスエントロピーは RMS Norm の読み出しを通じて、最終的な隠蔽状態のノルムを数千、数万に駆動する。
• 参考スコア（独自算出の注目度）: 5.903857251549266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped language models turn hidden states into runtime state: each state is decoded for prediction and fed back into future computation. This creates a basic supervision question: which state variables does cross-entropy actually control? We show that dense per-loop cross-entropy controls the variables exposed by the readout, not every variable active in the recurrent transition. Hidden-state scale gives a concrete failure mode. Scale-invariant readouts such as RMSNorm and LayerNorm hide radial scale from the immediate cross-entropy loss, while pre-norm residual recurrence continues to carry and update that same scale. Thus per-loop loss can make early exits usable without controlling recurrent scale. In 44M and 129M looped transformers without inter-loop normalization, per-loop cross-entropy through RMSNorm readouts still drives final hidden-state norms into the thousands or tens of thousands. Scale-visible readouts and explicit norm penalties keep norms in the tens, and scale-removing recurrence is the complementary architectural fix. The resulting design rule is simple: dense supervision trains exits; recurrent scale control requires either making scale visible to a loss or removing it from the loop. Consistent with this rule, scale-controlled variants achieve lower perplexity at matched inference-depth operating points in our variable-depth benchmarks.
• Abstract（参考訳）: ループ言語モデルは隠れた状態を実行時状態に変換する:各状態は予測のためにデコードされ、将来の計算に返される。 どの状態変数が実際にクロスエントロピーを制御するのか? ループごとのクロスエントロピーは、再帰遷移でアクティブな全ての変数ではなく、読み出しによって露出される変数を制御する。 隠れ状態のスケールは、具体的な障害モードを提供します。 RMSNormやLayerNormのようなスケール不変の読み出しは、即時クロスエントロピー損失からラジアルスケールを隠蔽する。 これにより、ループ単位の損失は、繰り返しスケールを制御することなく早期出口を利用可能にすることができる。 44M と 19M のループ正規化のないループ変換器では、ループ間クロスエントロピーは RMS Norm の読み出しを通じて、最終的な隠蔽状態のノルムを数千、数万に駆動する。 スケール可視の読み出しと明示的なノルムの罰則は、テンソルのノルムを保ち、スケール取り消しの繰り返しは補完的なアーキテクチャ上の修正である。 厳密な監督列車は退避し、反復的なスケール制御は損失に目に見えるようにするか、ループから取り除くかのいずれかを必要とする。 この規則に反し、スケール制御された変種は、変数深度ベンチマークにおいて一致した推論深度演算点において、低いパープレキシティを達成する。

関連論文リスト

• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters [0.0]
  グルーキングは単一の結果ではなく、マルチシードレートとして研究する。 この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
  論文  参考訳（メタデータ） (2026-07-06T13:58:31Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• What Does the Weight Norm Control in Grokking? Logit-Scale Mediation under Cross-Entropy [0.0]
  規範が実際に何を制御するのかを尋ねる。 クロスエントロピーの下で、標準誘導範囲全体にわたってグラッキング遅延をスライスする。 標準の格子と温度を横切ると、遅延はロジットスケールだけで崩壊する(R2 = 0.97)。
  論文  参考訳（メタデータ） (2026-06-16T20:16:18Z)
• Noise-Driven Escape from Metastable Phases explains Grokking in Deep Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)はL2正規化強度の変動の下で一階相転移を示すことを示す。 脱走時において,グルーキングのような遅延収束を2桁の規模で再現する。 我々の研究はメタスタブル状態の数が学習可能な特徴の数と等しいことを示唆している。
  論文  参考訳（メタデータ） (2026-06-15T11:22:16Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Silent Collapse in Recursive Learning Systems [24.578102943388256]
  トラジェクトリ統計をモニタし、遅い時間スケールの信頼変数を推定する軽量なメタ認知ループを提案する。 MTRは早期警告を提供し、実際のデータにアクセスすることなくサイレント崩壊を積極的に防止する。
  論文  参考訳（メタデータ） (2026-05-14T08:59:26Z)
• Score-Repellent Monte Carlo: Toward Efficient Non-Markovian Sampler with Constant Memory in General State Spaces [48.37754141688874]
  本稿では,スコアと状態表現の次元である$Rd$のスコア評価の実行平均で履歴を要約するフレームワークを提案する。 この歴史は指数的なスコア傾きによって代理対象に変換され、歴史に基づく反発の大きさを制御する際の反発の強さを表す$$がインデックス付けされる。 連続目標モデルと離散エネルギーベースモデルの実験では、メモリ使用率を$O(d)$に抑えつつ、推定値の分散とモードカバレッジを改善した。
  論文  参考訳（メタデータ） (2026-04-24T18:39:50Z)
• Gated Removal of Normalization in Transformers Enables Stable Training and Efficient Inference [2.1665689529884697]
  RMSNorm/LayerNormをドロップインで置き換えたTaperNormを紹介します。 1つのグローバルゲートは、ゲートウォームアップ中に$g=1$で保持され、EMAを介してスケーリングブランチをキャリブレーションし、コサインデケイを$g=0$にする。 マイクロベンチマークでは、折りたたみ内部のスケーリングは、ラスト・トーケン・ロジット・モードで最大1.22倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-11T01:40:34Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• TrajBooster: Boosting Humanoid Whole-Body Manipulation via Trajectory-Centric Learning [79.59753528758361]
  両足のVLAを促進するために、豊富な車輪付きヒューマノイドデータを活用するクロス・エボディメント・フレームワークであるTrajBoosterを提案する。 私たちのキーとなる考え方は、形態素に依存しないインターフェースとして、エンドエフェクタ・トラジェクトリを使用することです。 以上の結果から,TrajBoosterは既存の車輪付きヒューマノイドデータにより,二足歩行ヒューマノイドVLAの性能を効率的に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2025-09-15T12:25:39Z)
• Multistep Inverse Is Not All You Need [87.62730694973696]
  実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。 したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。 本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。