論文の概要: Generative Flows with Matrix Exponential

• arxiv url: http://arxiv.org/abs/2007.09651v1
• Date: Sun, 19 Jul 2020 11:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 23:59:30.920732
• Title: Generative Flows with Matrix Exponential
• Title（参考訳）: 行列指数による生成流れ
• Authors: Changyi Xiao, Ligang Liu
• Abstract要約: 生成フローモデルは、抽出可能な正確な確率と効率的なサンプリングの特性を享受する。 行列指数を生成フローに組み込む。 本モデルは, 生成フローモデル間の密度推定において高い性能を達成する。
• 参考スコア（独自算出の注目度）: 25.888286821451562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative flows models enjoy the properties of tractable exact likelihood and efficient sampling, which are composed of a sequence of invertible functions. In this paper, we incorporate matrix exponential into generative flows. Matrix exponential is a map from matrices to invertible matrices, this property is suitable for generative flows. Based on matrix exponential, we propose matrix exponential coupling layers that are a general case of affine coupling layers and matrix exponential invertible 1 x 1 convolutions that do not collapse during training. And we modify the networks architecture to make trainingstable andsignificantly speed up the training process. Our experiments show that our model achieves great performance on density estimation amongst generative flows models.
• Abstract（参考訳）: 生成フローモデルは、可逆関数列からなる、抽出可能な正確な確率と効率的なサンプリングの特性を享受する。 本稿では,行列指数関数を生成フローに組み込む。 行列指数は行列から可逆行列への写像であり、この性質は生成フローに適している。 行列指数関数に基づいて,アフィンカップリング層の一般的な場合である行列指数結合層と,トレーニング中に崩壊しない行列指数関数的可逆 1 x 1 畳み込みを提案する。 そしてネットワークアーキテクチャを変更して、トレーニングプロセスを安定的で重要なスピードアップします。 本実験は, 生成フローモデル間の密度推定において, 高い性能が得られることを示す。

関連論文リスト

• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Projected Tensor-Tensor Products for Efficient Computation of Optimal Multiway Data Representations [0.0]
  本稿では,計算オーバーヘッドを低減するために可逆性制限を緩和する新しいテンソルテンソル製品を提案する。 予測された製品フレームワーク内での圧縮表現の行列緩和性と最適性を証明する理論を提供する。
  論文  参考訳（メタデータ） (2024-09-28T16:29:54Z)
• Fitting Multilevel Factor Models [41.38783926370621]
  我々は,多段階因子モデルに適した期待最大化アルゴリズムの,新しい高速実装を開発する。 可逆PSD MLR行列の逆もまた、因子の間隔が同じMLR行列であることを示す。 線形時間と空間複素量を持つ拡張行列のコレスキー分解を計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-18T15:39:12Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
  非負行列ファクタリゼーションの逆学習版を検討する。 我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。 辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-04-10T13:13:17Z)
• Training Invertible Linear Layers through Rank-One Perturbations [0.0]
  この研究は、非可逆線形層をトレーニングするための新しいアプローチを示す。 ネットワークパラメータを直接最適化する代わりに、ランク1の摂動を訓練し、しばしば実際の重み行列に追加する。 このような非可逆ブロックが混合性を改善し, 結果として発生する流れのモード分離を正規化する方法を示す。
  論文  参考訳（メタデータ） (2020-10-14T12:43:47Z)
• The Convolution Exponential and Generalized Sylvester Flows [82.18442368078804]
  本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。 重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。 畳み込み指数はCIFAR10上の生成フローにおいて他の線形変換よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-02T19:43:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。