Fugu-MT 論文翻訳(概要): Normalized Gradients for All

論文の概要: Normalized Gradients for All

arxiv url: http://arxiv.org/abs/2308.05621v1
Date: Thu, 10 Aug 2023 15:10:08 GMT
ステータス: 処理完了
システム内更新日: 2023-08-11 12:11:30.163987
Title: Normalized Gradients for All
Title（参考訳）: 全員の正規化勾配
Authors: Francesco Orabona
Abstract要約: 正規化勾配をブラックボックス方式で用いたH'older smoothnessへの適応法を示す。境界は局所H"古い滑らかさという新しい概念に依存する。
参考スコア（独自算出の注目度）: 15.974402990630402
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this short note, I show how to adapt to H\"{o}lder smoothness using normalized gradients in a black-box way. Moreover, the bound will depend on a novel notion of local H\"{o}lder smoothness. The main idea directly comes from Levy [2017].
Abstract（参考訳）: 本稿では, 正規化勾配を用いたH\"{o}lder smoothnessをブラックボックス方式で適用する方法を示す。さらに、境界は局所 h\"{o}lder の滑らかさという新しい概念に依存する。主なアイデアは、Levy [2017]から直接来ています。

関連論文リスト

Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
論文参考訳（メタデータ） (2024-09-23T13:11:37Z)
Discontinuity-preserving Normal Integration with Auxiliary Edges [8.785723205910658]
補助エッジを導入し、ドメイン内の断片的に滑らかなパッチ間をブリッジすることで、隠れたジャンプの規模を明示的に表現できるようにします。提案手法は, 繰り返し再重み付き最小二乗と, 補助エッジ上の跳躍等級の反復フィルタリングを組み合わせることで, 不連続性を最適化する。従来の不連続性保存正規積分法と比較して,ジャンプの明示的な表現により,微不連続性を正確に再構成する。
論文参考訳（メタデータ） (2024-04-04T01:22:23Z)
Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文参考訳（メタデータ） (2024-03-06T22:24:05Z)
How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文参考訳（メタデータ） (2023-12-07T21:40:44Z)
Non-Uniform Smoothness for Gradient Descent [5.64297382055816]
リプシッツ連続勾配滑らか度条件を一般化する局所一階滑らか度オラクル(LFSO)を導入する。このオラクルは、適切な修正を施した勾配降下法のために、チューニングの段階化に関するすべての問題情報をエンコードできることを示す。また、この修正された一階法におけるLFSOは、非常に平坦な最小値を持つ非強凸問題に対して、大域的線形収束率が得られることを示す。
論文参考訳（メタデータ） (2023-11-15T00:44:08Z)
Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文参考訳（メタデータ） (2023-09-17T08:35:11Z)
Robust Implicit Regularization via Weight Normalization [5.37610807422229]
重み正規化は、重みが実質的に大規模であっても持続する頑健なバイアスを可能にすることを示す。実験により, 暗黙バイアスの収束速度とロバスト性の両方の利得は, 重み正規化を用いて劇的に改善されることが示唆された。
論文参考訳（メタデータ） (2023-05-09T13:38:55Z)
Near-optimal learning with average H\"older smoothness [29.856963741898007]
平均リプシッツの滑らかさの概念をH"古い滑らかさに拡張することで一般化する。我々の結果は任意の完全有界距離空間を持ち、その内在幾何学の観点で述べられている。
論文参考訳（メタデータ） (2023-02-12T21:19:59Z)
A first-order primal-dual method with adaptivity to local smoothness [64.62056765216386]
凸凹対象 $min_x max_y f(x) + langle Ax, yrangle - g*(y)$, ここで、$f$ は局所リプシッツ勾配を持つ凸関数であり、$g$ は凸かつ非滑らかである。主勾配ステップと2段ステップを交互に交互に行うCondat-Vuアルゴリズムの適応バージョンを提案する。
論文参考訳（メタデータ） (2021-10-28T14:19:30Z)
Fast Gradient Non-sign Methods [67.56549792690706]
Fast Gradient Non-sign Method (FGNM) は一般的なルーチンであり、グラデーションベースの攻撃において従来の$sign$操作をシームレスに置き換えることができる。我々の手法は、textbf27.5% と textbf9.5% でそれらを上回ります。
論文参考訳（メタデータ） (2021-10-25T08:46:00Z)
Fast Margin Maximization via Dual Acceleration [52.62944011696364]
指数関数的尾の損失を持つ線形分類器を訓練するための運動量に基づく手法を提案し,解析する。この運動量に基づく法は、最大マルジン問題の凸双対、特にこの双対にネステロフ加速度を適用することによって導出される。
論文参考訳（メタデータ） (2021-07-01T16:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。