Fugu-MT 論文翻訳(概要): (Almost) Smooth Sailing: Towards Numerical Stability of Neural Networks Through Differentiable Regularization of the Condition Number

論文の概要: (Almost) Smooth Sailing: Towards Numerical Stability of Neural Networks Through Differentiable Regularization of the Condition Number

arxiv url: http://arxiv.org/abs/2410.00169v1
Date: Mon, 30 Sep 2024 19:18:15 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 10:14:04.701055
Title: (Almost) Smooth Sailing: Towards Numerical Stability of Neural Networks Through Differentiable Regularization of the Condition Number
Title（参考訳）: ほぼ)平滑なサイリング:条件数の微分正則化によるニューラルネットワークの数値安定性を目指して
Authors: Rossen Nenov, Daniel Haider, Peter Balazs,
Abstract要約: ほぼどこでも確実に差別化可能な新しい正則化器を導入する。本手法は, MNIST画像の雑音分類と雑音分解に有用であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Maintaining numerical stability in machine learning models is crucial for their reliability and performance. One approach to maintain stability of a network layer is to integrate the condition number of the weight matrix as a regularizing term into the optimization algorithm. However, due to its discontinuous nature and lack of differentiability the condition number is not suitable for a gradient descent approach. This paper introduces a novel regularizer that is provably differentiable almost everywhere and promotes matrices with low condition numbers. In particular, we derive a formula for the gradient of this regularizer which can be easily implemented and integrated into existing optimization algorithms. We show the advantages of this approach for noisy classification and denoising of MNIST images.
Abstract（参考訳）: 機械学習モデルにおける数値的な安定性を維持することは、その信頼性と性能に不可欠である。ネットワーク層の安定性を維持する1つのアプローチは、最適化アルゴリズムに正規化項として重み行列の条件数を統合することである。しかし、その不連続性や微分可能性の欠如により、条件数は勾配降下法には適さない。本稿では, ほぼ至る所で識別可能な新しい正則化器を導入し, 低条件数行列の促進について述べる。特に、既存の最適化アルゴリズムに容易に実装・統合できる正規化器の勾配式を導出する。本手法は, MNIST画像の雑音分類と雑音分解に有用であることを示す。

関連論文リスト

From exponential to finite/fixed-time stability: Applications to optimization [0.0]
指数関数的に安定な最適化アルゴリズムが与えられた場合、有限・固定時間安定アルゴリズムを得るように修正できるだろうか? 我々は、元の力学の右辺の単純なスケーリングを通して、解を有限時間間隔でどのように計算できるかを示す肯定的な答えを提供する。我々は、元のシステムの指数的安定性を証明したリアプノフ関数を用いて、修正アルゴリズムの所望の性質を証明した。
論文参考訳（メタデータ） (2024-09-18T05:43:22Z)
Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文参考訳（メタデータ） (2024-08-17T02:22:08Z)
Efficient Sampling for Data-Driven Frequency Stability Constraint via Forward-Mode Automatic Differentiation [5.603382086370097]
本稿では,フォワードモード自動微分による勾配データ生成手法を提案する。この方法では、元の力学系は、元の状態の感度のダイナミクスを表す新しい状態で拡張される。提案アルゴリズムは, 非線形微分法と有限差分法と比較して, サンプリングアルゴリズムの優れた性能を示す。
論文参考訳（メタデータ） (2024-07-21T03:50:11Z)
Hybrid algorithm simulating non-equilibrium steady states of an open quantum system [10.752869788647802]
非平衡定常状態は開量子系の研究の焦点である。これらの定常状態を探すための従来の変分アルゴリズムは、資源集約的な実装に悩まされてきた。我々は、リンドブラッド方程式の演算子-サム形式をシミュレートすることにより、非平衡定常状態の効率的な探索を行う新しい変分量子アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-13T01:57:27Z)
High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文参考訳（メタデータ） (2023-02-02T10:37:23Z)
Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文参考訳（メタデータ） (2022-10-14T15:20:17Z)
Learning Globally Smooth Functions on Manifolds [94.22412028413102]
スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
論文参考訳（メタデータ） (2022-10-01T15:45:35Z)
Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
論文参考訳（メタデータ） (2021-12-02T16:04:40Z)
Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文参考訳（メタデータ） (2021-06-29T09:48:46Z)
Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文参考訳（メタデータ） (2020-05-22T22:30:52Z)
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently [18.89597524771988]
非負行列分解(NMF)は、機械学習における多くの応用において、基本的な非修飾最適化問題である。本稿では,サドル点を同時にかつ確実に回避する乗法的重み更新型力学(Seung algorithm)を定義する。重要な利点は、並列コンピューティング環境で並列実装を使用することである。
論文参考訳（メタデータ） (2020-02-26T06:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。