論文の概要: The Implicit Bias of Logit Regularization

• arxiv url: http://arxiv.org/abs/2602.12039v1
• Date: Thu, 12 Feb 2026 15:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.881453
• Title: The Implicit Bias of Logit Regularization
• Title（参考訳）: 論理正規化の暗黙のバイアス
• Authors: Alon Beck, Yohai Bar Sinai, Noam Levi,
• Abstract要約: 線形分類の文脈において,ロジット正規化器のクラスを解析する。 サンプル当たりの有限個のターゲットに対して,ロジットクラスタリングの暗黙バイアスを生じさせることを示した。 本結果は,ラベルの平滑化に関する理論的理解を拡張し,より広範なロジット規則化手法の有効性を強調した。
• 参考スコア（独自算出の注目度）: 4.588028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logit regularization, the addition a convex penalty directly in logit space, is widely used in modern classifiers, with label smoothing as a prominent example. While such methods often improve calibration and generalization, their mechanism remains under-explored. In this work, we analyze a general class of such logit regularizers in the context of linear classification, and demonstrate that they induce an implicit bias of logit clustering around finite per-sample targets. For Gaussian data, or whenever logits are sufficiently clustered, we prove that logit clustering drives the weight vector to align exactly with Fisher's Linear Discriminant. To demonstrate the consequences, we study a simple signal-plus-noise model in which this transition has dramatic effects: Logit regularization halves the critical sample complexity and induces grokking in the small-noise limit, while making generalization robust to noise. Our results extend the theoretical understanding of label smoothing and highlight the efficacy of a broader class of logit-regularization methods.
• Abstract（参考訳）: 対数正規化(英: logit regularization)とは、対数空間に直接凸ペナルティを加えることであり、現代の分類法において広く使われ、ラベルの平滑化が顕著な例である。 このような手法はしばしばキャリブレーションと一般化を改善するが、そのメカニズムは未解明のままである。 本研究では,そのようなロジット正規化器の一般クラスを線形分類の文脈で解析し,有限サンプル当たりのロジットクラスタリングの暗黙バイアスを生じさせることを示した。 ガウスデータやロジットが十分にクラスタ化されている場合、ロジットクラスタリングが重みベクトルを動かしてフィッシャーの線形判別値と正確に一致することを証明します。 その結果,この遷移が劇的な効果を持つ単純な信号+雑音モデルについて検討した。 本結果は,ラベルの平滑化に関する理論的理解を拡張し,より広範なロジット規則化手法の有効性を強調した。

関連論文リスト

• Provably Reliable Classifier Guidance via Cross-Entropy Control [4.298880233819988]
  拡散モデルの各ステップにおけるクロスエントロピー損失は、対応する誘導誤差を制御するのに十分であることを示す。 その結果,サンプリング誤差ベクトル誘導拡散モデル上界が得られ,逆対数ソボレフ型不等式に類似していることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T02:59:04Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems [2.174919458782602]
  逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。 本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。 我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
  論文  参考訳（メタデータ） (2024-01-29T22:52:57Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Detecting Label Noise via Leave-One-Out Cross Validation [0.0]
  クリーンなサンプルと破損したサンプルの混合から実値のノイズラベルを同定し,修正するための簡単なアルゴリズムを提案する。 独立分散を伴う付加的なガウス雑音項をそれぞれと観測されたラベルに関連付けるヘテロ代用ノイズモデルを用いる。 提案手法は, 合成および実世界の科学データを用いた学習において, 劣化したサンプルを特定でき, より良い回帰モデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-03-21T10:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。