論文の概要: Space Alignment Matters: The Missing Piece for Inducing Neural Collapse in Long-Tailed Learning

• arxiv url: http://arxiv.org/abs/2512.07844v1
• Date: Tue, 25 Nov 2025 07:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 04:16:52.507275
• Title: Space Alignment Matters: The Missing Piece for Inducing Neural Collapse in Long-Tailed Learning
• Title（参考訳）: 空間アライメントの課題 : 長期学習における神経崩壊を誘発する欠片
• Authors: Jinping Wang, Zhiqiang Gao, Zhiwu Xie,
• Abstract要約: クラスバランス条件下では、クラス特徴量と分類器重みが自然に単純な三角形のタイトフレーム(ETF)に整合していることが示される。 しかし、長い尾を持つ状態においては、試料の不均衡はNC現象の出現を防ぎ、一般化性能が低下する傾向にある。 アーキテクチャ変更なしに既存のロングテールメソッドにプラグアンドプレイする3つの明示的なアライメント戦略を提案する。
• 参考スコア（独自算出の注目度）: 8.526510873614034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies on Neural Collapse (NC) reveal that, under class-balanced conditions, the class feature means and classifier weights spontaneously align into a simplex equiangular tight frame (ETF). In long-tailed regimes, however, severe sample imbalance tends to prevent the emergence of the NC phenomenon, resulting in poor generalization performance. Current efforts predominantly seek to recover the ETF geometry by imposing constraints on features or classifier weights, yet overlook a critical problem: There is a pronounced misalignment between the feature and the classifier weight spaces. In this paper, we theoretically quantify the harm of such misalignment through an optimal error exponent analysis. Built on this insight, we propose three explicit alignment strategies that plug-and-play into existing long-tail methods without architectural change. Extensive experiments on the CIFAR-10-LT, CIFAR-100-LT, and ImageNet-LT datasets consistently boost examined baselines and achieve the state-of-the-art performances.
• Abstract（参考訳）: ニューラル・コラプス(NC)の最近の研究は、クラスバランスの条件下では、クラス特徴手段と分類器重みが自然に単純な等角的タイトフレーム(ETF)に整列することを明らかにしている。 しかし、長い尾を持つ状態においては、試料の不均衡はNC現象の出現を防ぎ、一般化性能が低下する傾向にある。 現在の取り組みは主に、特徴量や分類器重みに制約を課すことでETFの幾何学を回復しようとするが、重要な問題を見落としている: 特徴量と分類器重み空間の間には明らかな相違がある。 本稿では, 最適誤差指数解析により, その悪影響を理論的に定量化する。 この知見に基づいて、アーキテクチャの変更なしに既存のロングテールメソッドにプラグイン・アンド・プレイする3つの明示的なアライメント戦略を提案する。 CIFAR-10-LT、CIFAR-100-LT、ImageNet-LTのデータセットに対する大規模な実験は、検査されたベースラインを継続的に増加させ、最先端のパフォーマンスを達成する。

関連論文リスト

• Neural Collapse in Test-Time Adaptation [12.636904518839303]
  Test-Time Adaptation (TTA)は、推論中にモデルをオンラインに更新することで、アウト・オブ・ディストリビューションデータに対する堅牢性を高める。 近年、ディープニューラルネットワーク(DNN)の創発的幾何学的性質としてニューラル・コラプス(NC)が提案されている。 性能劣化は, より大きな分布シフトの下で悪化する適応のサンプルワイズミスアライメントに起因していると確認した。 我々は,信頼できない擬似ラベルの影響を軽減するために,ハイブリッドターゲットを用いた特徴分類器アライメント手法であるNCTTAを提案する。
  論文  参考訳（メタデータ） (2025-12-11T08:34:58Z)
• Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data [52.737775129027575]
  直交分離可能なデータを分類するための2層ReLUネットワーク上の勾配流がニューラル・コラプス(NC)を示すことを示す。 NCの出現を促進するためのトレーニング力学の暗黙バイアスの役割を明らかにする。
  論文  参考訳（メタデータ） (2025-10-24T01:36:19Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Supervised Contrastive Representation Learning: Landscape Analysis with Unconstrained Features [33.703796571991745]
  最近の研究では、ゼロトレーニングを超えて訓練された過度パラメータ化されたディープニューラルネットワークが、最終層に特徴的な構造パターンを示すことが明らかになっている。 これらの結果から,これらのネットワークにおける最終層出力はクラス内変動が最小限であることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T06:02:45Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks [44.31777384413466]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
  論文  参考訳（メタデータ） (2023-07-04T23:03:21Z)
• Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data [12.225207401994737]
  大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。 特に、最終層の特徴がクラス平均に崩壊することが観察されている。 本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
  論文  参考訳（メタデータ） (2023-01-01T16:29:56Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。