論文の概要: MixerFlow for Image Modelling
- arxiv url: http://arxiv.org/abs/2310.16777v1
- Date: Wed, 25 Oct 2023 17:10:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 13:33:38.605091
- Title: MixerFlow for Image Modelling
- Title(参考訳): 画像モデリングのためのMixerFlow
- Authors: Eshant English, Matthias Kirchler, Christoph Lippert
- Abstract要約: 我々はMixer-Mixerアーキテクチャに基づくMixerFlowと呼ばれる新しいアーキテクチャを提案する。
計算予算の固定化により,画像データセットの密度推定精度が向上することを示した。
また、MixerFlowはGlowベースのアーキテクチャよりも有益な埋め込みを提供していることも示しています。
- 参考スコア(独自算出の注目度): 11.597704460450158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalising flows are statistical models that transform a complex density
into a simpler density through the use of bijective transformations enabling
both density estimation and data generation from a single model. In the context
of image modelling, the predominant choice has been the Glow-based
architecture, whereas alternative architectures remain largely unexplored in
the research community. In this work, we propose a novel architecture called
MixerFlow, based on the MLP-Mixer architecture, further unifying the generative
and discriminative modelling architectures. MixerFlow offers an effective
mechanism for weight sharing for flow-based models. Our results demonstrate
better density estimation on image datasets under a fixed computational budget
and scales well as the image resolution increases, making MixeFlow a powerful
yet simple alternative to the Glow-based architectures. We also show that
MixerFlow provides more informative embeddings than Glow-based architectures.
- Abstract(参考訳): 正規化フローは、単一のモデルから密度推定とデータ生成の両方を可能にする単射変換を用いて、複素密度をより単純な密度に変換する統計モデルである。
画像モデリングの文脈では、主要な選択はGlowベースのアーキテクチャであり、代替アーキテクチャは研究コミュニティでほとんど検討されていない。
本研究では,MLP-Mixerアーキテクチャに基づくMixerFlowと呼ばれる新しいアーキテクチャを提案する。
MixerFlowは、フローベースモデルの重量共有に効果的なメカニズムを提供する。
計算予算の固定化と画像解像度の増大により,画像データセットの密度推定精度が向上し,MixeFlowはGlowアーキテクチャの強力な代替となる。
また、MixerFlowはGlowベースのアーキテクチャよりも有益な埋め込みを提供していることも示しています。
関連論文リスト
- NM-FlowGAN: Modeling sRGB Noise with a Hybrid Approach based on Normalizing Flows and Generative Adversarial Networks [9.81778202920426]
NM-FlowGANは、GANと正規化フローの両方の長所を利用するハイブリッドアプローチである。
我々のNM-FlowGANは、sRGBノイズ合成タスクにおいて、他のベースラインよりも優れています。
我々のモデルから合成画像対で訓練した認知ニューラルネットワークも、他のベースラインと比較して優れた性能を示している。
論文 参考訳(メタデータ) (2023-12-15T09:09:25Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and
Latent Diffusion [50.59261592343479]
本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。
提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。
また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
論文 参考訳(メタデータ) (2023-10-05T12:29:41Z) - WavePaint: Resource-efficient Token-mixer for Self-supervised Inpainting [2.3014300466616078]
本稿では、計算効率の良いWaveMixベースの完全畳み込みアーキテクチャであるWavePaintを用いて、視覚変換器から分岐する。
2次元離散ウェーブレット変換(DWT)を用いて、畳み込み層とともに、空間的および多重解像度のトークン混合を行う。
我々のモデルは、CelebA-HQデータセットの現在のGANアーキテクチャよりも優れている。
論文 参考訳(メタデータ) (2023-07-01T18:41:34Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Multi-Scale Architectures Matter: On the Adversarial Robustness of
Flow-based Lossless Compression [16.109578069331135]
フローベースモデルは, 優れた確率密度推定と良好な推論速度により, 性能が向上する。
マルチスケールアーキテクチャは、浅い層から出力層へのショートカットを提供する。
マルチスケールアーキテクチャのフローは、コーディングの複雑さと圧縮効率の最良のトレードオフを実現する。
論文 参考訳(メタデータ) (2022-08-26T15:17:43Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳(メタデータ) (2022-07-04T09:05:25Z) - DeFlow: Learning Complex Image Degradations from Unpaired Data with
Conditional Flows [145.83812019515818]
本論文では,不対データから画像劣化を学習するDeFlowを提案する。
共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。
共同画像復元と超解像におけるDeFlowの定式化を検証した。
論文 参考訳(メタデータ) (2021-01-14T18:58:01Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。