Fugu-MT 論文翻訳(概要): Implicit Bias in Deep Linear Discriminant Analysis

論文の概要: Implicit Bias in Deep Linear Discriminant Analysis

arxiv url: http://arxiv.org/abs/2603.02622v1
Date: Tue, 03 Mar 2026 05:49:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-04 21:38:10.653635
Title: Implicit Bias in Deep Linear Discriminant Analysis
Title（参考訳）: 深い線形識別分析におけるインプシットバイアス
Authors: Jiawen Li,
Abstract要約: 本稿では,Deep LDAによって誘導される暗黙の正則化に関する最初の理論的解析について述べる。 L層対角線ネットワーク上での損失の勾配流を解析することにより、バランスの取れた初期化の下で、ネットワークアーキテクチャは標準加算勾配更新を乗法重み更新に変換することを証明した。
参考スコア（独自算出の注目度）: 2.3304389517825808
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While the Implicit Bias(or Implicit Regularization) of standard loss functions has been studied, the optimization geometry induced by discriminative metric-learning objectives remains largely unexplored.To the best of our knowledge, this paper presents an initial theoretical analysis of the implicit regularization induced by the Deep LDA,a scale invariant objective designed to minimize intraclass variance and maximize interclass distance. By analyzing the gradient flow of the loss on a L-layer diagonal linear network, we prove that under balanced initialization, the network architecture transforms standard additive gradient updates into multiplicative weight updates, which demonstrates an automatic conservation of the (2/L) quasi-norm.
Abstract（参考訳）: 標準損失関数のインプリシットバイアス(またはインプリシット正規化)の研究は行われているが、識別的計量学習目的による最適化は未解明のままであり、本研究では、Deep LDAによって誘導される暗黙的正規化に関する最初の理論的解析、すなわち、クラス内分散を最小化しクラス間距離を最大化するために設計されたスケール不変目的について述べる。 L層対角線ネットワークにおける損失の勾配流を解析することにより、バランスの取れた初期化の下で、ネットワークアーキテクチャは標準加算勾配更新を乗算重み更新に変換し、(2/L)準ノルムの自動保存を実証する。

関連論文リスト

High-Dimensional Learning Dynamics of Quantized Models with Straight-Through Estimator [7.837881800517111]
量子ニューラルネットワークトレーニングは、離散的で微分不可能な目的を最適化する。ストレートスルー推定器(STE)は、サロゲート勾配によるバックプロパゲーションを可能にする。理論的には、高次元極限において、STEダイナミクスは通常の決定論的微分方程式に収束する。
論文参考訳（メタデータ） (2025-10-12T16:43:46Z)
A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
論文参考訳（メタデータ） (2025-06-18T15:10:38Z)
Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks [8.46000784973359]
本研究では,深部線形ネットワークの正則化二乗損失の局所的幾何学的景観について検討する。ネットワーク幅と正規化パラメータの緩やかな条件下での正規化損失に対する誤差を確定する。理論的な結果を支持するため,数値実験を行い,勾配勾配が臨界点に線形に収束することを実証した。
論文参考訳（メタデータ） (2025-02-16T14:53:52Z)
Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks [0.0]
直交線形ネットワークの勾配流による暗黙の正規化について, 鋭い結果を示す。これを近似の一般化硬度における相転移現象と関連付ける。結果の非シャープ性は、基礎追従最適化問題に対して、GHA現象が起こらないことを意味する。
論文参考訳（メタデータ） (2023-07-13T13:27:51Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文参考訳（メタデータ） (2023-05-19T16:24:47Z)
Robust Implicit Regularization via Weight Normalization [5.37610807422229]
重み正規化は、重みが実質的に大規模であっても持続する頑健なバイアスを可能にすることを示す。実験により, 暗黙バイアスの収束速度とロバスト性の両方の利得は, 重み正規化を用いて劇的に改善されることが示唆された。
論文参考訳（メタデータ） (2023-05-09T13:38:55Z)
Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
論文参考訳（メタデータ） (2023-01-27T02:30:51Z)
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Inductive Bias of Gradient Descent for Exponentially Weight Normalized Smooth Homogeneous Neural Nets [1.7259824817932292]
我々は,指数的あるいはクロスエントロピー損失のトレーニングにおいて,重み付き平滑な均質ニューラルネットの勾配降下の誘導バイアスを解析した。本稿では,EWNを用いた勾配流路が適応学習率の標準ネットワーク上での勾配流と等価であることを示す。
論文参考訳（メタデータ） (2020-10-24T14:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。