論文の概要: MixerFlow: MLP-Mixer meets Normalising Flows

• arxiv url: http://arxiv.org/abs/2310.16777v2
• Date: Thu, 27 Jun 2024 04:23:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 20:16:23.318491
• Title: MixerFlow: MLP-Mixer meets Normalising Flows
• Title（参考訳）: MixerFlow: MLP-Mixerが正規化フローに到達
• Authors: Eshant English, Matthias Kirchler, Christoph Lippert,
• Abstract要約: 正規化フローは、複雑な密度を単純な密度に変換する生成モデルである。 画像モデリングの文脈では、主な選択はGlowベースのアーキテクチャである。 我々はMixer-Mixerアーキテクチャに基づくMixerFlowと呼ばれる新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 10.31916245015817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalising flows are generative models that transform a complex density into a simpler density through the use of bijective transformations enabling both density estimation and data generation from a single model. %However, the requirement for bijectivity imposes the use of specialised architectures. In the context of image modelling, the predominant choice has been the Glow-based architecture, whereas alternative architectures remain largely unexplored in the research community. In this work, we propose a novel architecture called MixerFlow, based on the MLP-Mixer architecture, further unifying the generative and discriminative modelling architectures. MixerFlow offers an efficient mechanism for weight sharing for flow-based models. Our results demonstrate comparative or superior density estimation on image datasets and good scaling as the image resolution increases, making MixerFlow a simple yet powerful alternative to the Glow-based architectures. We also show that MixerFlow provides more informative embeddings than Glow-based architectures and can integrate many structured transformations such as splines or Kolmogorov-Arnold Networks.
• Abstract（参考訳）: 正規化フロー(英: normalising flow)とは、複雑な密度をより単純な密度に変換する生成モデルである。 % にもかかわらず、ビジェクティビティの要件は、特殊化されたアーキテクチャの使用を強制する。 画像モデリングの文脈では、主要な選択はGlowベースのアーキテクチャであり、代替アーキテクチャは研究コミュニティでほとんど検討されていない。 本研究では,MLP-Mixerアーキテクチャに基づくMixerFlowと呼ばれる新しいアーキテクチャを提案する。 MixerFlowは、フローベースのモデルで重量共有を行うための効率的なメカニズムを提供する。 以上の結果から,画像の解像度が向上するにつれて,画像データセットの相対的,あるいは優れた密度推定が可能となり,MixerFlowはGlowベースのアーキテクチャに代わる,シンプルかつ強力な代替手段となった。 また、MixerFlowはGlowベースのアーキテクチャよりも情報的な埋め込みを提供し、splinesやKolmogorov-Arnold Networksのような多くの構造化変換を統合することができることを示す。

関連論文リスト

• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Multi-Scale Architectures Matter: On the Adversarial Robustness of Flow-based Lossless Compression [16.109578069331135]
  フローベースモデルは, 優れた確率密度推定と良好な推論速度により, 性能が向上する。 マルチスケールアーキテクチャは、浅い層から出力層へのショートカットを提供する。 マルチスケールアーキテクチャのフローは、コーディングの複雑さと圧縮効率の最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-08-26T15:17:43Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Flowification: Everything is a Normalizing Flow [0.0]
  我々は,任意の多層パーセプトロンや畳み込みネットワークを正規化フローに変換する手法を開発した。 私たちが開発しているテクニックは、幅広いアーキテクチャに適用することができ、幅広いタスクに使用することができます。
  論文  参考訳（メタデータ） (2022-05-30T16:07:21Z)
• FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization [16.704006420306353]
  スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。 本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。 我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
  論文  参考訳（メタデータ） (2021-11-29T16:11:09Z)
• Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning [72.9458277424712]
  Mixture Model Auto-Encoders (MixMate)は、生成モデルで推論を実行することでデータをクラスタリングする新しいアーキテクチャである。 最先端のディープクラスタリングアルゴリズムと比較して,MixMateは競争性能が高いことを示す。
  論文  参考訳（メタデータ） (2021-10-10T02:30:31Z)
• Go with the Flows: Mixtures of Normalizing Flows for Point Cloud Generation and Reconstruction [98.38585659305325]
  正規化フロー(NF)は、3Dポイントクラウドのモデリングにおける最先端のパフォーマンスを示している。 この研究は、点雲にNFの混合物を適用することで、それらの表現力を高める。
  論文  参考訳（メタデータ） (2021-06-06T14:25:45Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。