論文の概要: Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent

• arxiv url: http://arxiv.org/abs/2207.04036v1
• Date: Fri, 8 Jul 2022 17:47:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-11 14:27:27.306915
• Title: Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
• Title（参考訳）: 偏光モデルにおけるグラディエント蛍光のインシシシトバイアス:ミラー蛍光と等価性について
• Authors: Zhiyuan Li, Tianhao Wang, JasonD. Lee, Sanjeev Arora
• Abstract要約: 通勤パラメトリゼーションのある勾配流は、関連するレジェンド関数を持つ連続ミラー降下と等価である。 ルジャンドル関数を持つ連続ミラー降下は、関連する通勤パラメトリゼーションを伴う勾配流と見なすことができる。
• 参考スコア（独自算出の注目度）: 64.26008239544085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As part of the effort to understand implicit bias of gradient descent in overparametrized models, several results have shown how the training trajectory on the overparametrized model can be understood as mirror descent on a different objective. The main result here is a characterization of this phenomenon under a notion termed commuting parametrization, which encompasses all the previous results in this setting. It is shown that gradient flow with any commuting parametrization is equivalent to continuous mirror descent with a related Legendre function. Conversely, continuous mirror descent with any Legendre function can be viewed as gradient flow with a related commuting parametrization. The latter result relies upon Nash's embedding theorem.
• Abstract（参考訳）: 過パラメータモデルにおける勾配降下の暗黙のバイアスを理解する取り組みの一環として、いくつかの結果は、過パラメータモデルのトレーニング軌道が異なる目的のミラー降下として理解されることを示す。 ここでの主な結果は、この設定における以前のすべての結果を含む可換パラメトリゼーション(commuting parametrization)と呼ばれる概念の下でこの現象を特徴づけることである。 通勤パラメトリゼーションを伴う勾配流は、関連するルジャンドル関数を持つ連続ミラー降下と等価であることを示す。 逆に、ルジャンドル関数を持つ連続ミラー降下は、関連する通勤パラメトリゼーションを伴う勾配流と見なすことができる。 後者の結果はナッシュの埋め込み定理に依存する。

関連論文リスト

• A Mirror Descent Perspective of Smoothed Sign Descent [14.205909074145598]
  回帰問題に対する安定性定数$varepsilon$のスムーズな符号降下のダイナミクスについて検討する。 双対力学の研究により、収束解をブレグマン発散関数を最小化する近似KKT点として特徴づける。
  論文  参考訳（メタデータ） (2024-10-18T03:52:21Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Stochastic Mirror Descent in Average Ensemble Models [38.38572705720122]
  ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。 本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2022-10-27T11:04:00Z)
• Provable Phase Retrieval with Mirror Descent [1.1662472705038338]
  我々は,その挙動の程度から$n$-mの実ベクトルを復元する位相探索の問題を考察する。 2つの測定値について、n$の値が十分であれば、ほとんどすべての初期化子に対して高い確率で元のベクトルが符号まで回復することを示す。
  論文  参考訳（メタデータ） (2022-10-17T16:40:02Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM [11.007661197604065]
  本稿では,無限次元環境下でのミラー降下アルゴリズムの収束性について検討する。 結果が結合分布とクルバック-リーブラー分岐に適用され、シンクホーンの最適輸送に対する原始的な反復がミラー降下に対応することを示す。
  論文  参考訳（メタデータ） (2022-06-17T16:19:47Z)
• Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent [7.00422423634143]
  離散VRSMD推定器列は線形回帰において最小ミラー補間子に収束することを示す。 我々は、真のモデルがスパースである場合に設定したモデル推定精度を導出する。
  論文  参考訳（メタデータ） (2022-04-29T19:37:24Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。