論文の概要: AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion

• arxiv url: http://arxiv.org/abs/2110.07557v1
• Date: Tue, 12 Oct 2021 04:13:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-16 13:14:07.467174
• Title: AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
• Title（参考訳）: AIR-Net: 行列補完のための適応型および命令型正規化ニューラルネットワーク
• Authors: Zhemin Li, Hongxia Wang
• Abstract要約: この作業は適応性と暗黙の低ランク正規化を組み合わせることで、現在の回復行列に従って前者を動的にキャプチャする。 理論的解析により、AIR-Netの適応部分が暗黙の正規化を促進することが示されている。 行列表現のためのニューラルネットワークを選択するための完全な柔軟性により、AIR-Netはより一般的な逆問題を解決するために拡張できる。
• 参考スコア（独自算出の注目度）: 6.846820212701818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventionally, the matrix completion (MC) model aims to recover a matrix from partially observed elements. Accurate recovery necessarily requires a regularization encoding priors of the unknown matrix/signal properly. However, encoding the priors accurately for the complex natural signal is difficult, and even then, the model might not generalize well outside the particular matrix type. This work combines adaptive and implicit low-rank regularization that captures the prior dynamically according to the current recovered matrix. Furthermore, we aim to answer the question: how does adaptive regularization affect implicit regularization? We utilize neural networks to represent Adaptive and Implicit Regularization and named the proposed model \textit{AIR-Net}. Theoretical analyses show that the adaptive part of the AIR-Net enhances implicit regularization. In addition, the adaptive regularizer vanishes at the end, thus can avoid saturation issues. Numerical experiments for various data demonstrate the effectiveness of AIR-Net, especially when the locations of missing elements are not randomly chosen. With complete flexibility to select neural networks for matrix representation, AIR-Net can be extended to solve more general inverse problems.
• Abstract（参考訳）: 従来、行列完備化(MC)モデルは、部分的に観察された要素から行列を復元することを目的としていた。 正確なリカバリは、必ずしも未知の行列/信号の事前を適切に符号化する正規化を必要とする。 しかし、複雑な自然信号のプリエントを正確に符号化することは困難であり、それでも、モデルは特定の行列型以外ではうまく一般化できないかもしれない。 この作業は適応性と暗黙の低ランク正規化を組み合わせることで、現在の回復行列に従って前者を動的にキャプチャする。 さらに、適応正則化は暗黙の正則化にどのように影響するのか? ニューラルネットワークを用いて適応的および暗黙的正規化を表現し,提案モデル \textit{air-net} を命名した。 理論的解析により、AIR-Netの適応部分が暗黙の正規化を促進することが示されている。 さらに、適応正則化器は最後に消滅し、飽和問題を回避することができる。 様々なデータに対する数値実験はAIR-Netの有効性を示し、特に欠落した要素の位置がランダムに選択されない場合である。 行列表現のためのニューラルネットワークを選択するための完全な柔軟性により、AIR-Netはより一般的な逆問題を解決するために拡張できる。

関連論文リスト

• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
  ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。 本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。 本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:00:37Z)
• Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
  ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。 低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-01T13:47:09Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Adaptive and Implicit Regularization for Matrix Completion [17.96984956202579]
  本稿では、トレーニングデータから低ランク先行を動的にキャプチャする、適応的で暗黙の低ランク正規化を提案する。 本稿では,ReTwoAIRの適応正規化によって暗黙正規化が促進され,訓練終了時に消滅することを示す。 私たちはAIRの有効性を様々なベンチマークタスクで検証し、欠落したエントリが一様でない場合、AIRは特にシナリオに好適であることを示す。
  論文  参考訳（メタデータ） (2022-08-11T05:00:58Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。