論文の概要: Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization

• arxiv url: http://arxiv.org/abs/2006.08857v1
• Date: Tue, 16 Jun 2020 01:21:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 18:54:20.288002
• Title: Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
• Title（参考訳）: 二重オーバーパラメータ化のための離散学習率の急激なバイアスによるロバスト回復
• Authors: Chong You, Zhihui Zhu, Qing Qu, Yi Ma
• Abstract要約: 差分学習率の勾配降下は, 行列のランクや破損の頻度について事前の知識がなくても, 基礎となる行列を確実に回復させることを示す。 本手法は,ネットワーク幅と終了条件をケースバイケースで調整する必要のない単一学習パイプラインを用いて,異なるテストイメージと様々な汚職レベルを処理している。
• 参考スコア（独自算出の注目度）: 46.22605476383572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances have shown that implicit bias of gradient descent on over-parameterized models enables the recovery of low-rank matrices from linear measurements, even with no prior knowledge on the intrinsic rank. In contrast, for robust low-rank matrix recovery from grossly corrupted measurements, over-parameterization leads to overfitting without prior knowledge on both the intrinsic rank and sparsity of corruption. This paper shows that with a double over-parameterization for both the low-rank matrix and sparse corruption, gradient descent with discrepant learning rates provably recovers the underlying matrix even without prior knowledge on neither rank of the matrix nor sparsity of the corruption. We further extend our approach for the robust recovery of natural images by over-parameterizing images with deep convolutional networks. Experiments show that our method handles different test images and varying corruption levels with a single learning pipeline where the network width and termination conditions do not need to be adjusted on a case-by-case basis. Underlying the success is again the implicit bias with discrepant learning rates on different over-parameterized parameters, which may bear on broader applications.
• Abstract（参考訳）: 近年の進歩は、過パラメータ化モデルにおける勾配降下の暗黙の偏りは、固有ランクに関する事前知識がなくても線形測定から低ランク行列の回復を可能にすることを示している。 対照的に、粗悪な測定値からロバストな低ランク行列を回復するためには、過剰パラメータ化は、腐敗の本質的なランクとスパース性の両方について事前の知識なしに過剰に適合する。 本稿では,低ランク行列とスパース破壊の両方に対する二重過パラメータ化により,離散学習率を持つ勾配降下は,行列のランクや汚職のスパース性について事前の知識がなくても,基盤となる行列を確実に回復することを示す。 さらに,深層畳み込みネットワークを用いた過剰パラメータ化による自然画像のロバスト回復のためのアプローチをさらに拡張する。 実験では,ネットワーク幅と終了条件をケースバイケースで調整する必要のない単一の学習パイプラインを用いて,異なるテスト画像と異なる腐敗レベルを処理することを示す。 成功の根底にあるのは、異なる過剰パラメータの異なる学習率を持つ暗黙のバイアスであり、幅広い応用が要求される可能性がある。

関連論文リスト

• Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems trained with Gradient Descent [0.6522338519818377]
  一般化損失関数の収束と回復の保証は、勾配流を通したトレーニングでは真であることを示す。 また、この離散化は2層DIPネットワークの過パラメータ化に一定でしか影響しないことを示す。
  論文  参考訳（メタデータ） (2024-03-08T15:45:13Z)
• A Validation Approach to Over-parameterized Matrix and Image Recovery [29.29430943998287]
  複数のランダムな線形測定から低ランク行列を復元する問題を考察する。 提案手法は,より深いネットワークを持つ画像である画像に有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-21T22:01:23Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Robust Depth Completion with Uncertainty-Driven Loss Functions [60.9237639890582]
  本研究では,不確実性による損失関数を導入し,深度補修の堅牢性を改善し,深度補修の不確実性に対処する。 提案手法は,KITTI深度評価ベンチマークでテストされ,MAE, IMAE, IRMSEの計測値を用いて最先端のロバスト性性能を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:22:34Z)
• Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery [37.05862765171643]
  我々は、ランクに関する事前の知識を持たない低ランク行列のロバストな分解を考える。 本稿では,行列のサイズを小さくする設計により,過度に最適化されたモデルにおける過度な適合を効果的に防止できることを示す。
  論文  参考訳（メタデータ） (2021-09-23T05:54:46Z)
• Implicit Regularization of Sub-Gradient Method in Robust Matrix Recovery: Don't be Afraid of Outliers [6.320141734801679]
  簡単な部分勾配法が真の低ランク解に効率的に収束することを示す。 また,本手法のロバスト性を証明するために,シグナ-RIPと呼ばれる制限等尺性の概念を新たに構築する。
  論文  参考訳（メタデータ） (2021-02-05T02:52:00Z)
• Learning Mixtures of Low-Rank Models [89.39877968115833]
  低ランクモデルの計算混合を学習する問題について検討する。 ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。 さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
  論文  参考訳（メタデータ） (2020-09-23T17:53:48Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Tomographic Auto-Encoder: Unsupervised Bayesian Recovery of Corrupted Data [4.725669222165439]
  破損したデータの教師なし回復のための新しい確率的手法を提案する。 劣化したサンプルの大規模なアンサンブルを考慮し,クリーンな値の正確な後部を復元する。 我々は、欠落した値とノイズの共通の設定の下で、データリカバリタスクでモデルをテストします。
  論文  参考訳（メタデータ） (2020-06-30T16:18:16Z)
• Corruption-robust exploration in episodic reinforcement learning [76.19192549843727]
  本研究は, システムにおける報酬と遷移確率の両面において, 敵対的腐敗下での多段階・多段階・多段階強化学習について検討した。 我々の枠組みは、汚職の欠如をほぼ最適に後悔する効率的なアルゴリズムをもたらす。 特に,本研究は,根本的強化学習のためのBandit-Feedbackモデルにおいて,純粋にI.d.遷移からの逸脱を保証した最初のサブ線形後悔の保証を提供する。
  論文  参考訳（メタデータ） (2019-11-20T03:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。