論文の概要: Entropy-Informed Weighting Channel Normalizing Flow

• arxiv url: http://arxiv.org/abs/2407.04958v1
• Date: Sat, 6 Jul 2024 04:46:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:47:42.830916
• Title: Entropy-Informed Weighting Channel Normalizing Flow
• Title（参考訳）: エントロピーインフォームドウェイトチャネル正規化流れ
• Authors: Wei Chen, Shian Du, Shigui Li, Delu Zeng, John Paisley,
• Abstract要約: 正規化および機能依存の$mathttShuffle$演算を提案し,それをバニラマルチスケールアーキテクチャに統合する。 このような操作はエントロピー増加方向の変数を誘導するので、$mathttShuffle$演算をemphEntropy-Informed Weighting Channel Normalizing Flow (EIW-Flow)と呼ぶNFを参照する。
• 参考スコア（独自算出の注目度）: 7.751853409569806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing Flows (NFs) have gained popularity among deep generative models due to their ability to provide exact likelihood estimation and efficient sampling. However, a crucial limitation of NFs is their substantial memory requirements, arising from maintaining the dimension of the latent space equal to that of the input space. Multi-scale architectures bypass this limitation by progressively reducing the dimension of latent variables while ensuring reversibility. Existing multi-scale architectures split the latent variables in a simple, static manner at the channel level, compromising NFs' expressive power. To address this issue, we propose a regularized and feature-dependent $\mathtt{Shuffle}$ operation and integrate it into vanilla multi-scale architecture. This operation heuristically generates channel-wise weights and adaptively shuffles latent variables before splitting them with these weights. We observe that such operation guides the variables to evolve in the direction of entropy increase, hence we refer to NFs with the $\mathtt{Shuffle}$ operation as \emph{Entropy-Informed Weighting Channel Normalizing Flow} (EIW-Flow). Experimental results indicate that the EIW-Flow achieves state-of-the-art density estimation results and comparable sample quality on CIFAR-10, CelebA and ImageNet datasets, with negligible additional computational overhead.
• Abstract（参考訳）: 正規化フロー(NF)は、正確な推定精度と効率的なサンプリングを提供する能力によって、深層生成モデルの間で人気を博している。 しかしながら、NFsの重大な制限は、入力空間のそれと等しい潜伏空間の次元を維持することから生じる、その実質的なメモリ要件である。 マルチスケールアーキテクチャはこの制限を回避し、潜在変数の次元を徐々に減らし、可逆性を確保する。 既存のマルチスケールアーキテクチャは、チャネルレベルで単純で静的な方法で潜伏変数を分割し、NFの表現力を妥協した。 この問題に対処するために、正規化および機能依存の$\mathtt{Shuffle}$演算を提案し、それをバニラマルチスケールアーキテクチャに統合する。 この演算はチャネルワイトをヒューリスティックに生成し、これらの重みで分割する前に遅延変数を適応的にシャッフルする。 このような操作はエントロピー増加方向の変数を誘導するので、$\mathtt{Shuffle}$演算を \emph{Entropy-Informed Weighting Channel Normalizing Flow} (EIW-Flow) と呼ぶ。 実験結果から,EIW-FlowはCIFAR-10,CelebA,ImageNetのデータセットに対して,計算オーバーヘッドを無視して,最先端の密度推定結果と同等のサンプル品質が得られることが示された。

関連論文リスト

• Transformer Neural Autoregressive Flows [48.68932811531102]
  正規化フロー(NF)を用いて密度推定を行う。 我々はトランスフォーマーニューラルオートレグレッシブフロー(T-NAF)と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを利用する新しい解を提案する。
  論文  参考訳（メタデータ） (2024-01-03T17:51:16Z)
• Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme [60.79981399724534]
  正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
  論文  参考訳（メタデータ） (2022-11-30T05:53:21Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Discretely Indexed Flows [1.0079626733116611]
  本稿では,変分推定問題の解法として離散インデックスフロー(DIF)を提案する。 DIFは正規化フロー(NF)の拡張として構築され、決定論的輸送は離散的にインデックス付けされる。 これらは、トラクタブル密度と単純なサンプリングスキームの両方の利点があり、変分推論(VI)と変分密度推定(VDE)の二重問題に利用できる。
  論文  参考訳（メタデータ） (2022-04-04T10:13:43Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal Transport [8.468007443062751]
  正規化フローは任意の確率分布と標準正規分布の間の可逆写像である。 OT-Flowは、より広範なCNFの使用を制限する2つの重要な計算課題に取り組む。 5つの高次元密度推定および生成モデリングタスクにおいて、OT-Flowは最先端CNFと競合して動作する。
  論文  参考訳（メタデータ） (2020-05-29T22:31:10Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。