論文の概要: Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints

• arxiv url: http://arxiv.org/abs/2603.22824v1
• Date: Tue, 24 Mar 2026 05:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.325526
• Title: Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints
• Title（参考訳）: ノルム制約下での多クラス分離可能データに対する暗黙のバイアス
• Authors: Shengping Xie, Zekun Wu, Quan Chen, Kaixu Tang,
• Abstract要約: 核ノルム制約を通した低階構造を強制するために設計された幾何認識幾何学であるNucGDを紹介する。 スケーラブルなトレーニングを実現するため、非同期電力繰り返しによる効率的なSVDフリー更新ルールを導出する。 我々は、最小バッチサンプリングと運動量によって誘導される勾配ノイズの変動レベルが、期待される最大マージン解に対する収束をどう変調するかを特徴付ける、勾配最適化のダイナミクスの影響を実験的に分析する。
• 参考スコア（独自算出の注目度）: 3.421126849736858
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Implicit bias induced by gradient-based algorithms is essential to the generalization of overparameterized models, yet its mechanisms can be subtle. This work leverages the Normalized Steepest Descent} (NSD) framework to investigate how optimization geometry shapes solutions on multiclass separable data. We introduce NucGD, a geometry-aware optimizer designed to enforce low rank structures through nuclear norm constraints. Beyond the algorithm itself, we connect NucGD with emerging low-rank projection methods, providing a unified perspective. To enable scalable training, we derive an efficient SVD-free update rule via asynchronous power iteration. Furthermore, we empirically dissect the impact of stochastic optimization dynamics, characterizing how varying levels of gradient noise induced by mini-batch sampling and momentum modulate the convergence toward the expected maximum margin solutions.Our code is accessible at: https://github.com/Tsokarsic/observing-the-implicit-bias-on-multiclass-seperable-data.
• Abstract（参考訳）: 勾配に基づくアルゴリズムによって誘導される入射バイアスは過パラメータ化モデルの一般化に不可欠であるが、そのメカニズムは微妙である。 本研究は,NSDフレームワークを利用して,多クラス分離可能データの解の最適化について検討する。 核ノルム制約によって低階構造を強制するために設計された幾何対応オプティマイザであるNucGDを紹介する。 アルゴリズム自体を超えて、我々はNucGDを新しい低ランク射影法と結びつけ、統一的な視点を提供する。 スケーラブルなトレーニングを実現するため、非同期電力繰り返しによる効率的なSVDフリー更新ルールを導出する。 さらに、我々は、最小バッチサンプリングと運動量による勾配雑音の変動レベルが、期待される最大利得解への収束をどう調節するかを、確率最適化力学の影響を実証的に明らかにし、我々のコードは、https://github.com/Tsokarsic/observing-the-implicit-bias-on-multiclass-seperable-dataでアクセス可能である。

関連論文リスト

• SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems [27.21342746802453]
  本稿では,非線形最小二乗問題に対する新しい最適化アルゴリズムを提案する。 この方法は、ジャコビアンの特異値分解(SVD)を用いて勾配降下方向をプレコンディションすることで導出される。 提案手法の標準正則性仮定の下での局所線形収束を確立し、適切な条件下でアルゴリズムの修正版に対する大域収束を証明した。
  論文  参考訳（メタデータ） (2026-02-07T18:53:00Z)
• Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods [50.070182958880146]
  本稿では,事前条件付き行列ノルムの新たな概念を通じて,降下法,準ニュートン法,適応法を一般化する統一的枠組みを提案する。 この枠組みでは、行列パラメータ化設定におけるアフィンとスケール不変性の最初の体系的処理を提供する。 我々は、Muonのスペクトル幾何学とAdamスタイルのプレコンディショニングを組み合わせた、$ttMuAdam$と$texttMuAdam-SANIA$という2つの新しい方法を紹介した。
  論文  参考訳（メタデータ） (2025-10-12T19:39:41Z)
• Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes [3.246129789918632]
  ディープニューラルネットワークのトレーニングは本質的に非最適化問題である。 勾配降下(SGD)のような標準的なアプローチでは、パラメータを同時に更新する必要がある。 そこで本研究では,SAMTを用いた列車最小化手法を提案する。 SAMTは、最先端のメソッドに比べて、パラメータ更新が少なく、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-08-06T08:23:38Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Regularized second-order optimization of tensor-network Born machines [2.8834278113855896]
  ボルンマシン(英: Born Machine、TNBM)は、データ分布を学習するための量子インスパイアされた生成モデルである。 TNBMの鍵となるボトルネックは、この問題によく使用される損失関数の対数的性質である。 そこで本研究では,TNBMトレーニングにおける2次最適化手法を改良し,収束率と最適化モデルの品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-30T19:00:04Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。