論文の概要: Nuclear Norm Regularization for Deep Learning

• arxiv url: http://arxiv.org/abs/2405.14544v2
• Date: Wed, 09 Oct 2024 18:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:26.983381
• Title: Nuclear Norm Regularization for Deep Learning
• Title（参考訳）: 深層学習のための核ノルム規則化
• Authors: Christopher Scarvelis, Justin Solomon,
• Abstract要約: 深層学習に適した手法を用いて,ジャコビアン核規範を効果的に適用する方法を示す。 提案手法は単純,効率的,高精度であり,ヤコビアン核の正規化を高次元深層学習問題に拡張することができる。
• 参考スコア（独自算出の注目度）: 14.818168481641823
• License:
• Abstract: Penalizing the nuclear norm of a function's Jacobian encourages it to locally behave like a low-rank linear map. Such functions vary locally along only a handful of directions, making the Jacobian nuclear norm a natural regularizer for machine learning problems. However, this regularizer is intractable for high-dimensional problems, as it requires computing a large Jacobian matrix and taking its singular value decomposition. We show how to efficiently penalize the Jacobian nuclear norm using techniques tailor-made for deep learning. We prove that for functions parametrized as compositions $f = g \circ h$, one may equivalently penalize the average squared Frobenius norm of $Jg$ and $Jh$. We then propose a denoising-style approximation that avoids the Jacobian computations altogether. Our method is simple, efficient, and accurate, enabling Jacobian nuclear norm regularization to scale to high-dimensional deep learning problems. We complement our theory with an empirical study of our regularizer's performance and investigate applications to denoising and representation learning.
• Abstract（参考訳）: 関数のジャコビアンの核ノルムを罰することは、局所的に低ランク線型写像のように振る舞うことを奨励する。 そのような関数は少数の方向で局所的に変化し、ヤコビアン核ノルムは機械学習問題に対する自然な正則化子となる。 しかし、この正規化器は大きなヤコビ行列の計算と特異値分解を必要とするため、高次元問題には難解である。 深層学習に適した手法を用いて,ジャコビアン核規範を効果的に適用する方法を示す。 合成としてパラメータ化された函数に対して、$f = g \circ h$ は、平均二乗フロベニウスノルムを$Jg$ と$Jh$ と等価にペナル化することができる。 次に,ジャコビアン計算を完全に回避したデノナイジング型近似を提案する。 提案手法は単純,効率的,高精度であり,ヤコビアン核の正規化を高次元深層学習問題に拡張することができる。 我々は,本理論を,正規化器の性能に関する実証的研究で補完し,認知と表現学習への応用について検討する。

関連論文リスト

• You Shall Pass: Dealing with the Zero-Gradient Problem in Predict and Optimize for Convex Optimization [1.98873083514863]
  予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、ますます人気のある意思決定パラダイムである。 そのようなモデルを訓練する上で重要な課題は、パラメータに関する最適化問題の解のヤコビアンの計算である。 ヤコビアンは大きさの可能なヌル空間を持つことができ、したがってトレーニングプロセスが最適下点に留まることが示される。
  論文  参考訳（メタデータ） (2023-07-30T19:14:05Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning [24.97120654216651]
  部分多様体上の運動量を持つ難しい微分方程式の解法を示す。 我々はリーマン正規座標の一般化版を提案する。 我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
  論文  参考訳（メタデータ） (2023-02-20T03:31:11Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
  対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。 提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。 本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
  論文  参考訳（メタデータ） (2022-12-01T07:01:59Z)
• Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization [44.54772242784423]
  低ランク学習行列に対する効率的な非正規化アルゴリズムを開発した。 提案アルゴリズムは、高価な折り畳み/折り畳み問題を回避することができる。 実験の結果,提案アルゴリズムは既存の状態よりも効率的で空間が広いことがわかった。
  論文  参考訳（メタデータ） (2022-05-06T07:47:10Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Unsupervised Ground Metric Learning using Wasserstein Eigenvectors [0.0]
  主なボトルネックは、研究対象のタスクに適応すべき「基礎」コストの設計である。 本論文では,コストを入力間のペアワイズOT距離にマッピングする関数の正の固有ベクトルとして,接地コストを計算することで,正の正の答えを初めて提案する。 また,主成分分析次元の低減を行うエントロピー正則化を用いたスケーラブルな計算手法を提案する。
  論文  参考訳（メタデータ） (2021-02-11T21:32:59Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Debiasing Distributed Second Order Optimization with Surrogate Sketching and Scaled Regularization [101.5159744660701]
  分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。 本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-02T18:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。