論文の概要: Force without transmission: a depth-induced rank collapse that no loss on the representation reopens

• arxiv url: http://arxiv.org/abs/2610.09958v1
• Date: Wed, 07 Oct 2026 12:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.905864
• Title: Force without transmission: a depth-induced rank collapse that no loss on the representation reopens
• Title（参考訳）: 伝達のない力:表現の損失のない深さ誘起ランク崩壊が再開する
• Abstract要約: 訓練はトランスフォーマーをランク崩壊へと駆り立てる。 関連する注意の崩壊において、境界補正力による損失項は、走行中にネットワークを修復する。
• 参考スコア（独自算出の注目度）: 4.752695927434714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training can drive a transformer into a rank collapse: all token representations point in one direction, and learning stops. In a related collapse of attention, a loss term with a bounded corrective force repairs the network during the run. We ask whether such a term repairs rank collapse. We collapse small transformers by weakening their skip connection and treat copies of the collapsed network. No added loss term repaired the collapse, although the stronger kind pushed with about a tenth of the task gradient. The reason was the path, not the strength. The task gradient no longer reached the query and key weights, which decide where attention looks, and the added term's gradient faded before the blocks where the collapse forms. Restoring the skip connection, which changes no weight, reopened this path at once. The rank then recovered, but only far above the scale of collapse. After a burst of high learning rate the path stayed open and the rank recovered untreated. Registered predictions from the path ranked recovery times but did not transfer to this cause. In every case the loss stayed above that of a healthy network after the rank recovered. Whether a collapsed network can be repaired depends on whether the gradient still reaches the weights that must change, not on how strongly a loss term pushes.
• Abstract（参考訳）: トレーニングはトランスフォーマーをランク崩壊へと駆り立て、すべてのトークン表現が一方向を指し、学習が停止する。 関連する注意の崩壊において、境界補正力による損失項は、走行中にネットワークを修復する。 私たちはそのような用語が階級崩壊を修復するかどうか尋ねる。 我々は、スキップ接続を弱め、崩壊したネットワークのコピーを処理することで、小さなトランスを崩壊させる。 減損期間は追加されなかったが、より強い種類はタスク勾配の約10分の1を推し進めた。 理由は道であり、強さではない。 タスクの勾配はクエリとキーウェイトに到達しなくなり、そこで注意がどこに見えるかが決定され、追加の項の勾配は、崩壊が生じるブロックの前に消えていった。 ウェイトを変えないスキップ接続の復元は、このパスを一度に再開した。 その後、階級は回復したが、崩壊の規模をはるかに上回っただけだった。 高い学習率のバーストの後、パスは開かれ、ランクは未処理のまま回復した。 経路から登録された予測は回復時間をランク付けしたが、この原因には移行しなかった。 いずれの場合も、ランクが回復した後も、損失は健康なネットワークのそれより上にとどまった。 崩壊したネットワークを修復できるかどうかは、勾配がまだ変化しなければならない重みに達するかどうかにかかっているが、損失項がどれだけ強く押されるかには依存しない。

関連論文リスト

• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• Why Post-Norm Transformers Collapse: Attention Amplification and Gradient Repair Failure [8.63727823701713]
  ディープデコーダのみのトランスフォーマーは、オリジナルのPost-NormアーキテクチャをPre-Normで置き換えることが多い。 本研究では、因果的注意が高相似性表現をいかに生み出すか、また、なぜトレーニングダイナミクスがそれらを修復できないのかを示す。
  論文  参考訳（メタデータ） (2026-08-10T10:45:16Z)
• Transforming Rank: How Architecture Navigates the Spectral Pathologies of Depth [0.628489453360764]
  スキップ接続は、分岐とスキップの相対スケールによって制御されるアンサンブルのような動作に対して、ランク崩壊を排除していることを示す。 我々は,深層ネットワークのアーキテクチャ設計を,ランク崩壊,アンサンブルのような振る舞い,パラメータ数といった固有のトレードオフをナビゲートするものとして再放送する。
  論文  参考訳（メタデータ） (2026-07-15T16:50:43Z)
• Not All Transitions Matter: Evidence from PPO [0.0]
  政策上の強化学習エージェントの訓練は、更新毎に新しい経験を集めることを意味する。 ロールアウトの各状態は、エージェント自身のアクションによって因果的に連鎖された前の状態の直接出力である。 ロールアウトから一定数の遷移をランダムに落とすことで、報酬信号がそのまま残るようにし、繰り返し勾配構造を破り、トレーニングを安定させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-05-22T12:04:40Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Exploiting the Partly Scratch-off Lottery Ticket for Quantization-Aware Training [69.8539756804198]
  数回のトレーニングの後に、量子化重量の大部分が最適な量子化レベルに達し、これは部分的にスクラッチオフされた宝くじと呼ばれる。 フル精度のチケットと量子化レベルの距離が制御可能な閾値よりも小さい場合、重量を凍結する「抽選チケットスクラッカー」(LTS)と呼ばれる手法を開発した。
  論文  参考訳（メタデータ） (2022-11-12T06:11:36Z)
• Signal Propagation in Transformers: Theoretical Perspectives and the Role of Rank Collapse [11.486545294602697]
  我々はトランスフォーマーにおけるランク崩壊の原因と影響に新たな光を当てた。 トークン表現のランク崩壊は,クエリやキーの勾配がなくなることによって,トレーニングを妨げていることを示す。
  論文  参考訳（メタデータ） (2022-06-07T09:07:24Z)
• When does gradient descent with logistic loss find interpolating two-layer networks? [51.1848572349154]
  また,初期損失が十分小さい場合,勾配降下がトレーニング損失をゼロにすることを示した。 データが一定のクラスタと分離条件を満たし、ネットワークが十分に広い場合、勾配降下の一段階が、最初の結果が適用されるほど損失を十分に減少させることを示す。
  論文  参考訳（メタデータ） (2020-12-04T05:16:51Z)
• Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
  本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。 本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
  論文  参考訳（メタデータ） (2020-02-20T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。