論文の概要: The Geometry of Projection Heads: Conditioning, Invariance, and Collapse
- arxiv url: http://arxiv.org/abs/2605.17180v1
- Date: Sat, 16 May 2026 22:32:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.725079
- Title: The Geometry of Projection Heads: Conditioning, Invariance, and Collapse
- Title（参考訳）: 射影頭部の幾何学:条件, 不変性, 崩壊
- Abstract要約: 自己教師型学習における投影頭部の幾何学的理論を開発する。
線形ヘッドが暗黙的な部分空間白化を行うのに対し、非線形ヘッドは局所的なメトリクスを適応させ、損失の特定の位相的制約を満たすことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a geometric theory of projection heads in self-supervised learning by modeling the head as a trainable Riemannian metric on the backbone representation manifold. We show that linear heads perform implicit subspace whitening, while nonlinear heads adapt local metrics to satisfy the specific topological constraints of the loss, with head depth empirically dictating this capacity. Analyzing dimensional collapse, we prove that smooth nonlinear heads natively induce negative eigenvalues in the Hessian at collapsed equilibria, making them unstable. We empirically validate this by continuously tracking the optimization geometry during training, which reveals that smooth activations like Swish can generate explicit negative curvature to escape collapse, whereas linear and ReLU heads under continuous-time gradient flow cannot, relying instead on discrete-time optimization dynamics and BatchNorm. Finally, we geometrically characterize how metric degeneracy governs the information-invariance trade-off, explaining why the head must be discarded. Evaluated across contrastive and decorrelation-based objectives on foundation models, our results demonstrate that the projection head acts as a universal geometric buffer, decoupling the semantic backbone from the rigid, destructive constraints of the pretraining objective.
- Abstract（参考訳）: バックボーン表現多様体上の訓練可能なリーマン計量として頭部をモデル化することにより、自己教師付き学習における射影ヘッドの幾何学的理論を開発する。
線形ヘッドが暗黙的な部分空間白化を行うのに対し、非線形ヘッドは局所的なメトリクスを適応させて損失の特定の位相的制約を満たすことを示し、頭部深度はこの容量を経験的に予測する。
次元崩壊を解析し、滑らかな非線形ヘッドが崩壊平衡においてヘッセンの負の固有値を自然に誘導し不安定にすることを示した。
この結果から,Swishのようなスムーズなアクティベーションが明確な負の曲率を発生して崩壊を回避できるのに対して,連続時間勾配流下での線形およびReLUヘッドは,離散時間最適化力学やBatchNormに依存しないことがわかった。
最後に、なぜ頭部を捨てなければならないのかを説明するため、計量縮退が情報不変のトレードオフをどのように支配するかを幾何学的に特徴づける。
基礎モデル上での相対的および非相関性に基づく目的に対して評価し、投影ヘッドが普遍的な幾何学的バッファとして機能し、前訓練対象の厳密で破壊的な制約から意味的バックボーンを分離することを示した。
関連論文リスト
- Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms [7.336637417508747]
非可逆ランゲヴィン力学に対する勾配丸山推定器の序列変動について検討する。
我々は、逆二乗階段の水平方向上の経験的平均が、消滅段数状態における中心極限定理を満たすことを証明した。
論文 参考訳（メタデータ） (2026-06-27T08:25:48Z) - Generalization in Nonlinear Least Squares via Learned Feature Geometry [15.966075413898336]
リッジ規則化非線形最小二乗モデルのオンアレージアルゴリズムによる一般化について検討する。
勾配モデルの幾何学を反映したデータ依存実効次元を用いて局所最小化器の誤差境界を導出する。
論文 参考訳（メタデータ） (2026-06-07T19:33:36Z) - Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。
モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
論文 参考訳（メタデータ） (2026-02-04T06:13:11Z) - Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics [29.85277126753054]
クロスエントロピー(CE)損失はディープラーニングを支配しているが、既存の理論はしばしば単純化に依存している。
標準的なニューラルネットワークベクトルを持つ標準ネットワークの詳細な特徴付けを行う。
論文 参考訳（メタデータ） (2025-12-03T17:45:09Z) - Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。
低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。
文献に現れる異種の経験的所見を総合的に検討した。
論文 参考訳（メタデータ） (2025-10-20T21:40:36Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Linear Regression on Manifold Structured Data: the Impact of Extrinsic
Geometry on Solutions [4.8234611688915665]
多様体上に構築されたデータに適用した線形回帰について検討する。
回帰解の特異性に対する多様体の曲率の影響を解析する。
論文 参考訳（メタデータ） (2023-07-05T17:51:26Z) - Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。
我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。
全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Linear Adversarial Concept Erasure [108.37226654006153]
与えられた概念に対応する線形部分空間の同定と消去の問題を定式化する。
提案手法は, トラクタビリティと解釈性を維持しつつ, 深い非線形分類器のバイアスを効果的に軽減し, 高い表現性を有することを示す。
論文 参考訳（メタデータ） (2022-01-28T13:00:17Z) - GELATO: Geometrically Enriched Latent Model for Offline Reinforcement
Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。
本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。
提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文 参考訳（メタデータ） (2021-02-22T19:42:40Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。