論文の概要: A Minimal Model of Representation Collapse: Frustration, Stop-Gradient, and Dynamics

• arxiv url: http://arxiv.org/abs/2604.09979v1
• Date: Sat, 11 Apr 2026 01:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.775203
• Title: A Minimal Model of Representation Collapse: Frustration, Stop-Gradient, and Dynamics
• Title（参考訳）: 表現崩壊の最小モデル:フラストレーション、停止勾配、ダイナミクス
• Authors: Louie Hong Yao, Yuhao Li, Shengchao Liu,
• Abstract要約: 自己教師付き表現学習は、ラベルなしデータから構造化潜在特徴を抽出するため、現代の機械学習の中心である。 これは表現の崩壊に悩まされ、埋め込みが識別的構造を失い、異なる入力が区別不能になる、広く観察される失敗モードである。 勾配-流れのダイナミクスと固定点を閉形式で解析できる最小埋め込みのみのモデルを導入する。
• 参考スコア（独自算出の注目度）: 12.453886119376902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised representation learning is central to modern machine learning because it extracts structured latent features from unlabeled data and enables robust transfer across tasks and domains. However, it can suffer from representation collapse, a widely observed failure mode in which embeddings lose discriminative structure and distinct inputs become indistinguishable. To understand the mechanisms that drive collapse and the ingredients that prevent it, we introduce a minimal embedding-only model whose gradient-flow dynamics and fixed points can be analyzed in closed form, using a classification-representation setting as a concrete playground where collapse is directly quantified through the contraction of label-embedding geometry. We illustrate that the model does not collapse when the data are perfectly classifiable, while a small fraction of frustrated samples that cannot be classified consistently induces collapse through an additional slow time scale that follows the early performance gain. Within the same framework, we examine collapse prevention by adding a shared projection head and applying stop-gradient at the level of the training dynamics. We analyze the resulting fixed points and develop a dynamical mean-field style self-consistency description, showing that stop-gradient enables non-collapsed solutions and stabilizes finite class separation under frustration. We further verify empirically that the same qualitative dynamics and collapse-prevention effects appear in a linear teacher-student model, indicating that the minimal theory captures features that persist beyond the pure embedding setting.
• Abstract（参考訳）: 自己教師付き表現学習は、ラベルのないデータから構造化された潜在的特徴を抽出し、タスクやドメイン間の堅牢な転送を可能にするため、現代の機械学習の中心である。 しかし、それは表現の崩壊に悩まされ、埋め込みが識別的構造を失い、異なる入力が区別不能になる、広く観察される失敗モードである。 本研究では, 崩壊のメカニズムとそれを防ぐ材料を理解するために, ラベル埋め込み幾何学の収縮により崩壊が直接定量化されるコンクリートプレイグラウンドとして, 勾配-流れのダイナミクスと固定点をクローズドな形で解析できる最小の埋め込み専用モデルを提案する。 本研究では,データが完全に分類可能である場合,モデルが崩壊しないことを示す。一方,一貫した分類ができない少数のフラストレーションされたサンプルは,早期の性能向上に追随する追加の遅い時間スケールで崩壊を誘導する。 同じ枠組み内では,共有投影ヘッドを付加し,トレーニングダイナミクスのレベルに停止勾配を適用することにより,崩壊防止を検証した。 得られた固定点を解析し,動的平均場式自己整合性記述を開発し,停止勾配が非崩壊解を可能にし,フラストレーション下での有限クラス分離を安定化させることを示した。 さらに、線形教師-学生モデルに同じ定性的ダイナミクスと崩壊防止効果が現れることを実証的に検証し、最小理論が純粋な埋め込み設定を超えて持続する特徴を捉えていることを示す。

関連論文リスト

• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis [0.01269104766024433]
  我々は,大規模言語モデル(LLM)における自己学習と生成AIを離散時間力学系として定式化する。 1) 有限サンプリング効果が分布多様性の単調な損失(モード崩壊)を引き起こすエントロピー減衰と,(2) 外部グラウンドの損失がモデルの真理表現をランダムウォークとして漂流させる変数増幅の2つの基本的障害モードを導出する。
  論文  参考訳（メタデータ） (2026-01-05T19:50:49Z)
• Activation Function Design Sustains Plasticity in Continual Learning [1.618563064839635]
  継続的な学習では、モデルは適応する能力を失う可能性がある。 可塑性損失を軽減するため, アクティベーション選択はアーキテクチャに依存しない主要なレバーであることを示す。
  論文  参考訳（メタデータ） (2025-09-26T16:41:47Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Perturbation Analysis of Neural Collapse [24.94449183555951]
  分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラー点を超えるトレーニング損失を最小限にすることが含まれる。 最近の研究は、全ての最小化器が正確な崩壊を示す理想化された制約のない特徴モデルを通して、この挙動を分析している。 本稿では,この現象を,予め定義された特徴行列の近傍に留まらせることで,よりリッチなモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-29T17:46:03Z)
• Are Gradients on Graph Structure Reliable in Gray-box Attacks? [56.346504691615934]
  従来のグレーボックス攻撃者は、グラフ構造を乱すために、サロゲートモデルからの勾配を用いて脆弱なエッジを見つける。 本稿では,構造勾配の不確実性に起因する誤差を考察し,解析する。 本稿では,構造勾配の誤差を低減する手法を用いた新しい攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-07T06:43:32Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。