論文の概要: Asymptotic Margins and Feature Confinement in Conic Classification Heads under Softmax Cross-Entropy
- arxiv url: http://arxiv.org/abs/2611.18507v1
- Date: Fri, 13 Nov 2026 18:24:04 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:30:19.62396
- Title: Asymptotic Margins and Feature Confinement in Conic Classification Heads under Softmax Cross-Entropy
- Title(参考訳): ソフトマックス・クロスエントロピー下におけるコニック分類頭部の漸近性マルジンと特徴閉じ込め
- Abstract要約: 円錐関数上に構築された分類ヘッドは、各クラスに特徴空間の有界領域を与える。
これらの領域は、頭部がソフトマックスのクロスエントロピーで訓練されたときに、特徴を束縛しているかどうかを問う。
この結果は、多面体円錐函数を含む他のノルムにまで拡張される。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Classification heads built on conic functions give each class a bounded region of the feature space, and such regions are used to reject samples of unseen classes. We ask whether these regions also keep the features bounded when the head is trained with softmax cross-entropy. For a head whose class scores combine a linear term with a Euclidean norm, we first show that the region of each class is bounded by a quadric of revolution, whose eccentricity is the reciprocal of one learned ratio. We then attach to each class an asymptotic margin, which compares the growth of its score with the growth of all the other scores and can be computed by a second-order cone program. The loss of a class has infimum zero exactly when its margin is positive, and it then approaches zero only along diverging features. When the margin is negative, the loss is coercive and its minimizers lie in an explicit ball. Since softmax depends only on the differences between scores, a class with a bounded region can still have a positive margin, so bounded regions do not confine the features. The result extends to other norms, including the polyhedral conic functions. On CIFAR-10 and CIFAR-100, all 1210 cells of 67 trained conic heads have positive margins, whereas a prototype head keeps nine of its ten cells bounded, as the theory predicts.
- Abstract(参考訳): 円錐関数上に構築された分類ヘッドは、各クラスに特徴空間の有界領域を与え、そのような領域は目に見えないクラスのサンプルを拒絶するために使用される。
これらの領域は、頭部がソフトマックスのクロスエントロピーで訓練されたときに、特徴を束縛しているかどうかを問う。
クラススコアが線型項とユークリッドノルムを結合するヘッドに対して、まず、各クラスの領域が革命の四分数で有界であることを示し、その偏心性は1つの学習比の相互性である。
次に、各クラスに漸近マージンをアタッチし、そのスコアの成長と他のすべてのスコアの成長を比較し、2次コーンプログラムで計算できる。
クラスの損失は、そのマージンが正のときに正確には無限小ゼロを持ち、その後、発散する特徴に沿ってのみゼロに近づく。
マージンが負の場合、損失は強制的であり、その最小値は明示的なボールの中に置かれる。
ソフトマックスはスコアの違いにのみ依存するため、有界領域を持つクラスは依然として正のマージンを持つことができるため、有界領域は特徴を限定しない。
この結果は、多面体円錐函数を含む他のノルムにまで拡張される。
CIFAR-10とCIFAR-100では、67個の訓練された円錐頭部の1210個の細胞が正のマージンを持つのに対し、プロトタイプヘッドは10個の細胞のうち9つの境界を保っている。
関連論文リスト
- Two-Layer Random ReLU Networks Can Separate Disjoint Classes [2.3275369989775396]
2つのクラスが必ずしも凸あるいは線形分離可能でなくても、有限ReLUネットワークによって正のマージンで分離できる場合について検討する。
有限ReLUネットワークによる正マージン分離は有限閉凸被覆の存在と同値であることを示す。
論文 参考訳(メタデータ) (2026-11-03T02:52:27Z) - FHKAN: Fractional Hermite Kolmogorov-Arnold Networks for Data-Driven and Physics-Informed Learning [0.7107103501156677]
我々は、コルモゴロフ・アルノルドネットワークに適応的、訓練可能な分数次一般化Hermite基底を持つニューラルネットワークを導入する。
画像分類, 画像デノイング, 感情分析では, 最高性能のHermiteブロックが最も精度や再現性が高い。
論文 参考訳(メタデータ) (2026-10-18T10:06:41Z) - Certified Topological Interaction in Neural Representations: Class Disentanglement Is Mostly Pairwise [0.0]
我々は最近導入された断面特徴プロファイルを用いて,ラベル付き点雲間のトポロジ的相互作用を測定する。
111の訓練されたネットワークと52,650の認定された測定値で、絡み合いは深度が低下し、最初のエポックに集中している。
クラス三重の関節の絡み合いは、最強の対の97%の3重層細胞と99.5%の深層細胞、測定値のヌルフロアよりもはるかに低い位置にある。
論文 参考訳(メタデータ) (2026-09-08T10:51:56Z) - Minimax learning rates for estimating binary classifiers under margin conditions [0.0]
水平関数によって決定境界を記述する二分推定器を用いた分類問題について検討する。
我々は、ルベーグノルムの有界コルモゴロフエントロピーを持つ広関数クラスに対するミニマックス学習率の上限と下限を確立する。
論文 参考訳(メタデータ) (2025-05-15T18:05:10Z) - Learning to Cover: Online Learning and Optimization with Irreversible Decisions [50.5775508521174]
我々は,個別かつ不可逆な意思決定を対象とするオンライン学習と最適化の問題を定義した。
各期間において、意思決定者は、オープンする施設を選択し、それぞれの成功に関する情報を受け取り、将来の決定を導くために分類モデルを更新する。
目的は,多数の施設を対象とする地平線を特徴とし,カバー対象を反映するチャンス制約の下で施設開口を最小化することである。
論文 参考訳(メタデータ) (2024-06-20T23:00:25Z) - Max-Margin Works while Large Margin Fails: Generalization without
Uniform Convergence [55.26547500184405]
既存のツールでは、テストの損失がトレーニングの損失に近いことを保証し、候補モデルのクラスを均一に制御するエム統一コンバージェンス(UC)に依存している。
Nagarajan と Kolter は、ある単純な線形および神経ネットワークの設定において、任意の一様収束境界は空であり、UC が失敗する環境での一般化の証明方法に関する疑問を解き放つことを示している。
我々は、ある信号対雑音のしきい値を超えると、これらの2つの設定でほぼテスト損失が得られないことを示す新しいタイプのマージン境界を証明した。
論文 参考訳(メタデータ) (2022-06-16T02:46:26Z) - Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。
結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
論文 参考訳(メタデータ) (2021-07-21T16:41:57Z) - Linear Classifiers Under Infinite Imbalance [1.370633147306388]
無限不均衡極限における二項分類のための線形判別関数の挙動について検討する。
広いクラスの重み関数に対して、インターセプトは分岐するが、係数ベクトルの残りの部分は無限の不均衡の下では有限なほぼ確実な極限を持つことを示す。
論文 参考訳(メタデータ) (2021-06-10T15:01:54Z) - Federated Functional Gradient Boosting [75.06942944563572]
フェデレーション学習における機能最小化に関する研究
FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
論文 参考訳(メタデータ) (2021-03-11T21:49:19Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳(メタデータ) (2020-10-01T16:48:33Z) - Cautious Active Clustering [79.23797234241471]
ユークリッド空間上の未知の確率測度からサンプリングされた点の分類の問題を考える。
我々のアプローチは、未知の確率測度を、各クラスに対する条件付き確率の凸結合として考えることである。
論文 参考訳(メタデータ) (2020-08-03T23:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。