論文の概要: Neural Collapse in Cumulative Link Models for Ordinal Regression: An Analysis with Unconstrained Feature Model

• arxiv url: http://arxiv.org/abs/2506.05801v1
• Date: Fri, 06 Jun 2025 06:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.354744
• Title: Neural Collapse in Cumulative Link Models for Ordinal Regression: An Analysis with Unconstrained Feature Model
• Title（参考訳）: 正規回帰のための累積リンクモデルにおけるニューラル崩壊:制約のない特徴モデルを用いた解析
• Authors: Chuang Ma, Tomoyuki Obuchi, Toshiyuki Tanaka,
• Abstract要約: 我々は、通常神経崩壊(ONC)と呼ばれる現象が実際に出現し、以下の3つの特性によって特徴付けられることを示した。 特に、ゼロ正則化極限では、潜伏変数としきい値の間に非常に局所的で単純な幾何学的関係が現れる。
• 参考スコア（独自算出の注目度）: 4.958659914612866
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A phenomenon known as ''Neural Collapse (NC)'' in deep classification tasks, in which the penultimate-layer features and the final classifiers exhibit an extremely simple geometric structure, has recently attracted considerable attention, with the expectation that it can deepen our understanding of how deep neural networks behave. The Unconstrained Feature Model (UFM) has been proposed to explain NC theoretically, and there emerges a growing body of work that extends NC to tasks other than classification and leverages it for practical applications. In this study, we investigate whether a similar phenomenon arises in deep Ordinal Regression (OR) tasks, via combining the cumulative link model for OR and UFM. We show that a phenomenon we call Ordinal Neural Collapse (ONC) indeed emerges and is characterized by the following three properties: (ONC1) all optimal features in the same class collapse to their within-class mean when regularization is applied; (ONC2) these class means align with the classifier, meaning that they collapse onto a one-dimensional subspace; (ONC3) the optimal latent variables (corresponding to logits or preactivations in classification tasks) are aligned according to the class order, and in particular, in the zero-regularization limit, a highly local and simple geometric relationship emerges between the latent variables and the threshold values. We prove these properties analytically within the UFM framework with fixed threshold values and corroborate them empirically across a variety of datasets. We also discuss how these insights can be leveraged in OR, highlighting the use of fixed thresholds.
• Abstract（参考訳）: 深層分類タスクにおける「ニューラル崩壊(Neural Collapse, NC)」と呼ばれる現象は、最深層の特徴と最終分類器が極めて単純な幾何学的構造を示すものであるが、近年、ディープニューラルネットワークがどのように振る舞うかについての理解を深められることを期待して、大きな注目を集めている。 非制約特徴モデル (Unconstrained Feature Model, UFM) はNCを理論的に説明するために提案されており、NCを分類以外のタスクに拡張し、実践的な応用に活用する作業体系が発展しつつある。 本研究では, OR と UFM の累積リンクモデルを組み合わせることで, OR タスクに類似する現象が生じるかどうかを検討する。 正規化が適用された場合、(ONC1) 同一クラス内のすべての最適特徴をクラス内平均に分解する、(ONC2) クラスは分類器と整合し、1次元の部分空間に崩壊することを意味する、(ONC3) 最適潜時変数(分類タスクにおけるロジットやプリアクティベーションに対応する) はクラス順に従って整列し、特にゼロ正則化極限において、潜時変数としきい値との間に非常に局所的かつ単純な幾何学的関係が出現する、という3つの特性によって特徴付けられる。 我々はこれらの特性を、しきい値が固定されたUFMフレームワーク内で解析的に証明し、様々なデータセット間で実証的に相関する。 また、これらの知見をORでどのように活用するかを議論し、固定しきい値の使用を強調します。

関連論文リスト

• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Exploring Learned Representations of Neural Networks with Principal Component Analysis [1.0923877073891446]
  ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。 本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
  論文  参考訳（メタデータ） (2023-09-27T00:18:25Z)
• A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks [44.31777384413466]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
  論文  参考訳（メタデータ） (2023-07-04T23:03:21Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data [12.225207401994737]
  大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。 特に、最終層の特徴がクラス平均に崩壊することが観察されている。 本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
  論文  参考訳（メタデータ） (2023-01-01T16:29:56Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions [0.0]
  統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
  論文  参考訳（メタデータ） (2020-08-13T11:28:57Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。