論文の概要: Non-Convex Optimization with Spectral Radius Regularization

• arxiv url: http://arxiv.org/abs/2102.11210v2
• Date: Wed, 02 Jul 2025 21:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:12.172563
• Title: Non-Convex Optimization with Spectral Radius Regularization
• Title（参考訳）: スペクトル半径正則化による非凸最適化
• Authors: Adam Sandler, Diego Klabjan, Yuan Luo,
• Abstract要約: ディープニューラルネットワークのトレーニング中にフラットなミニマを見つけるための正規化手法を開発した。 これらのミニマはシャープなミニマよりも一般化され、実世界のテストデータに基づくベースラインよりも優れたモデルが得られる。
• 参考スコア（独自算出の注目度）: 16.086678713206684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop regularization methods to find flat minima while training deep neural networks. These minima generalize better than sharp minima, yielding models outperforming baselines on real-world test data (which may be distributed differently than the training data). Specifically, we propose a method of regularized optimization to reduce the spectral radius of the Hessian of the loss function. We also derive algorithms to efficiently optimize neural network models and prove that these algorithms almost surely converge. Furthermore, we demonstrate that our algorithm works effectively on applications in different domains, including healthcare. To show that our models generalize well, we introduced various methods for testing generalizability and found that our models outperform comparable baseline models on these tests.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニング中にフラットなミニマを見つけるための正規化手法を開発した。 これらのミニマはシャープなミニマよりも一般化され、実世界のテストデータ(トレーニングデータと異なる分散の可能性がある)のベースラインよりも優れたモデルが得られる。 具体的には、損失関数のHessianのスペクトル半径を減少させる正規化最適化法を提案する。 また、ニューラルネットワークモデルを効率的に最適化し、これらのアルゴリズムがほぼ確実に収束していることを証明するアルゴリズムを導出します。 さらに、我々のアルゴリズムは、医療を含むさまざまな分野のアプリケーションに効果的に作用することを示した。 モデルがよく一般化されていることを示すために、一般化可能性をテストする様々な方法を導入し、これらのテストにおいて、モデルが同等のベースラインモデルより優れていることを発見した。

関連論文リスト

• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Efficient compression of neural networks and datasets [0.0]
  ニューラルネットワークのパラメータ数を著しく削減する手法を比較し,改善し,貢献する。 記述長を最小化するために本手法を適用すると、非常に効率的なデータ圧縮アルゴリズムが得られる。 正規化モデルがより標本効率のよい収束を示すことができるという予測を実証的に検証する。
  論文  参考訳（メタデータ） (2025-05-23T04:50:33Z)
• Tensor Network Estimation of Distribution Algorithms [0.0]
  近年の論文では、テンソルネットワークを進化最適化アルゴリズムに統合する手法が登場している。 これらの手法の最適化性能は, 生成モデルのパワーと直接的に関係しないことがわかった。 これを踏まえると、生成モデルの出力に明示的な突然変異演算子を加えることで、最適化性能が向上することがしばしばある。
  論文  参考訳（メタデータ） (2024-12-27T18:22:47Z)
• Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
  生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。 本研究ではまず,生成モデルの本質的な特徴について考察する。 本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
  論文  参考訳（メタデータ） (2024-11-01T09:05:47Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• A Near-Optimal Algorithm for Debiasing Trained Machine Learning Models [21.56208997475512]
  我々は、深層ニューラルネットワーク(DNN)を含む訓練済みモデルのデバイアス化のためのスケーラブルな後処理アルゴリズムを提案する。 過剰なベイズリスクを限定することで、ほぼ最適であることを証明します。 標準ベンチマークデータセットでその利点を実証的に検証する。
  論文  参考訳（メタデータ） (2021-06-06T09:45:37Z)
• Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection [55.888835686183995]
  教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。 提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-01T01:43:04Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Exponentially improved detection and correction of errors in experimental systems using neural networks [0.0]
  実験装置の実証モデルを作成するために,2つの機械学習アルゴリズムを導入する。 これにより、一般化最適化タスクに必要な測定回数を指数関数的に削減することができる。 イオントラップ内の成層電場の検出と補償を例に,両アルゴリズムを実証する。
  論文  参考訳（メタデータ） (2020-05-18T22:42:11Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。