論文の概要: Adaptive and Implicit Regularization for Matrix Completion

• arxiv url: http://arxiv.org/abs/2208.05640v1
• Date: Thu, 11 Aug 2022 05:00:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-12 12:47:34.455609
• Title: Adaptive and Implicit Regularization for Matrix Completion
• Title（参考訳）: 行列完全化のための適応的および暗黙的正則化
• Authors: Zhemin Li, Tao Sun, Hongxia Wang, Bao Wang
• Abstract要約: 本稿では、トレーニングデータから低ランク先行を動的にキャプチャする、適応的で暗黙の低ランク正規化を提案する。 本稿では,ReTwoAIRの適応正規化によって暗黙正規化が促進され,訓練終了時に消滅することを示す。 私たちはAIRの有効性を様々なベンチマークタスクで検証し、欠落したエントリが一様でない場合、AIRは特にシナリオに好適であることを示す。
• 参考スコア（独自算出の注目度）: 17.96984956202579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The explicit low-rank regularization, e.g., nuclear norm regularization, has been widely used in imaging sciences. However, it has been found that implicit regularization outperforms explicit ones in various image processing tasks. Another issue is that the fixed explicit regularization limits the applicability to broad images since different images favor different features captured by different explicit regularizations. As such, this paper proposes a new adaptive and implicit low-rank regularization that captures the low-rank prior dynamically from the training data. The core of our new adaptive and implicit low-rank regularization is parameterizing the Laplacian matrix in the Dirichlet energy-based regularization, which we call the regularization AIR. Theoretically, we show that the adaptive regularization of \ReTwo{AIR} enhances the implicit regularization and vanishes at the end of training. We validate AIR's effectiveness on various benchmark tasks, indicating that the AIR is particularly favorable for the scenarios when the missing entries are non-uniform. The code can be found at https://github.com/lizhemin15/AIR-Net.
• Abstract（参考訳）: 明示的な低ランク正則化、例えば核ノルム正則化は画像科学で広く用いられている。 しかし、暗黙の正規化は様々な画像処理タスクにおいて明示的なものよりも優れていることが判明している。 別の問題は、異なる画像が異なる明示的正規化によってキャプチャされる異なる特徴を好むため、固定された明示的正規化は広い画像に適用性を制限することである。 そこで本研究では,トレーニングデータから低ランク先行を動的にキャプチャする適応的で暗黙の低ランク正規化を提案する。 新たな適応的かつ暗黙的な低ランク正規化の中核は、ディリクレエネルギーベース正規化においてラプラス行列をパラメータ化することであり、これは正規化 AIR と呼ばれる。 理論的には, \ReTwo{AIR} の適応正規化によって暗黙正規化が促進され, 訓練終了時に消滅することを示す。 私たちはAIRの有効性を様々なベンチマークタスクで検証し、欠落したエントリが一様でない場合、AIRは特にシナリオに好適であることを示す。 コードはhttps://github.com/lizhemin15/AIR-Netで見ることができる。

関連論文リスト

• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Zero-Shot Anomaly Detection via Batch Normalization [58.291409630995744]
  多くの安全クリティカルなアプリケーションドメインでは、異常検出が重要な役割を果たす。 異常検出器を正常なデータ分布でドリフトに適応させることの課題は、ゼロショットAD技術の開発に繋がった。 ゼロショットバッチレベルのADに対して,適応中心表現(Adaptive Centered Representation, ACR)と呼ばれるシンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T18:34:15Z)
• AltUB: Alternating Training Method to Update Base Distribution of Normalizing Flow for Anomaly Detection [1.3999481573773072]
  近年,様々な領域において,教師なし異常検出が注目されている。 その主なアプローチの1つは正規化フローであり、複素分布の像としての可逆変換を N(0, I) として簡単な分布に変換することである。
  論文  参考訳（メタデータ） (2022-10-26T16:31:15Z)
• Breaking Time Invariance: Assorted-Time Normalization for RNNs [5.229616140749998]
  Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。 ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。 ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
  論文  参考訳（メタデータ） (2022-09-28T21:51:13Z)
• AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion [6.846820212701818]
  この作業は適応性と暗黙の低ランク正規化を組み合わせることで、現在の回復行列に従って前者を動的にキャプチャする。 理論的解析により、AIR-Netの適応部分が暗黙の正規化を促進することが示されている。 行列表現のためのニューラルネットワークを選択するための完全な柔軟性により、AIR-Netはより一般的な逆問題を解決するために拡張できる。
  論文  参考訳（メタデータ） (2021-10-12T04:13:33Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Adaptive L2 Regularization in Person Re-Identification [0.9195729979000402]
  人物再識別の設定に適応的なL2正規化機構を導入する。 Market-1501、DukeMTMC-reID、MSMT17データセットの実験により、我々のフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2020-07-15T17:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。