論文の概要: PoM: Efficient Image and Video Generation with the Polynomial Mixer

• arxiv url: http://arxiv.org/abs/2411.12663v1
• Date: Tue, 19 Nov 2024 17:16:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:23.012332
• Title: PoM: Efficient Image and Video Generation with the Polynomial Mixer
• Title（参考訳）: PoM: ポリノミアルミキサーを用いた高効率画像・映像生成
• Authors: David Picard, Nicolas Dufour,
• Abstract要約: MHA(Multi-Head Attention)に基づく拡散モデルがユビキタスになり,高品質な画像やビデオが生成されるようになった。 本稿では,ポリノミアルミキサー (PoM) と呼ばれるMHAのドロップイン置換法を提案する。 ポリノミアルミキサーは、通常のMHAと同様に、普遍列列列近似器であることを示す。
• 参考スコア（独自算出の注目度）: 13.624781500928838
• License:
• Abstract: Diffusion models based on Multi-Head Attention (MHA) have become ubiquitous to generate high quality images and videos. However, encoding an image or a video as a sequence of patches results in costly attention patterns, as the requirements both in terms of memory and compute grow quadratically. To alleviate this problem, we propose a drop-in replacement for MHA called the Polynomial Mixer (PoM) that has the benefit of encoding the entire sequence into an explicit state. PoM has a linear complexity with respect to the number of tokens. This explicit state also allows us to generate frames in a sequential fashion, minimizing memory and compute requirement, while still being able to train in parallel. We show the Polynomial Mixer is a universal sequence-to-sequence approximator, just like regular MHA. We adapt several Diffusion Transformers (DiT) for generating images and videos with PoM replacing MHA, and we obtain high quality samples while using less computational resources. The code is available at https://github.com/davidpicard/HoMM.
• Abstract（参考訳）: MHA(Multi-Head Attention)に基づく拡散モデルがユビキタスになり,高品質な画像やビデオが生成されるようになった。 しかし、画像や動画をパッチのシーケンスとして符号化すると、メモリと計算の双方の要件が2次的に増加するため、コストのかかる注意パターンが生じる。 この問題を軽減するため,PoM (Polynomial Mixer) と呼ばれる,全シーケンスを明示的な状態に符号化する手法を提案する。 PoMはトークンの数に関して線形複雑である。 この明示的な状態は、並列にトレーニングしながら、メモリと計算要求を最小限に抑えながら、シーケンシャルな方法でフレームを生成することを可能にする。 ポリノミアルミキサーは、通常のMHAと同様に、普遍列列列近似器であることを示す。 画像とビデオを生成するために複数の拡散変換器(DiT)をMHAの代わりにPoMで適用し、少ない計算資源を用いて高品質なサンプルを得る。 コードはhttps://github.com/davidpicard/HoMMで公開されている。

関連論文リスト

• JPEG-LM: LLMs as Image Generators with Canonical Codec Representations [51.097213824684665]
  離散化は、画像やビデオのような連続したデータを離散トークンとして表現する。 画像やビデオを識別する一般的な方法は、生のピクセル値のモデリングである。 正規表現を用いることで、言語生成と視覚生成の障壁を低くすることができることを示す。
  論文  参考訳（メタデータ） (2024-08-15T23:57:02Z)
• Matryoshka Diffusion Models [38.26966802461602]
  拡散モデルは、高品質の画像やビデオを生成するデファクトアプローチである。 本稿では,高解像度画像とビデオ合成のためのエンドツーエンドフレームワークであるMatryoshka Diffusion Modelsを紹介する。 本稿では,クラス条件付き画像生成,高解像度テキスト・ツー・イメージ,テキスト・ツー・ビデオアプリケーションなど,様々なベンチマークにおけるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-23T17:20:01Z)
• Mixing Histopathology Prototypes into Robust Slide-Level Representations for Cancer Subtyping [19.577541771516124]
  計算病理学の手法による全スライディング画像解析は、しばしば、スライドレベルラベルのみが利用可能なテッセル化ギガピクセル画像の処理に依存している。 複数のインスタンス学習手法やトランスフォーマーモデルを適用することは、各イメージとして計算コストが高く、すべてのインスタンスを同時に処理する必要がある。 TheMixerは、特に大規模データセットにおいて、一般的なビジョントランスフォーマーの未探索の代替モデルである。
  論文  参考訳（メタデータ） (2023-10-19T14:15:20Z)
• MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending [61.45757368117578]
  本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。 MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。 MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
  論文  参考訳（メタデータ） (2023-09-30T04:36:43Z)
• MLIC++: Linear Complexity Multi-Reference Entropy Modeling for Learned Image Compression [30.71965784982577]
  我々はMEM++を導入し、潜在表現に固有の様々な相関関係をキャプチャする。 MEM++は最先端のパフォーマンスを実現し、PSNRのVTM-17.0と比較して、KodakデータセットのBDレートを13.39%削減した。 MLIC++はリニアGPUメモリを解像度で表示し、高解像度の画像符号化に非常に適している。
  論文  参考訳（メタデータ） (2023-07-28T09:11:37Z)
• MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers [78.85346970193518]
  Megabyteは、100万バイトを超えるシーケンスのエンドツーエンドで微分可能なモデリングを可能にするマルチスケールデコーダアーキテクチャである。 実験によると、Megabyteはバイトレベルのモデルで、長い文脈言語モデリングのサブワードモデルと競合することを可能にする。 その結果、トークン化のない自己回帰配列を大規模にモデル化できる可能性が確立された。
  論文  参考訳（メタデータ） (2023-05-12T00:55:41Z)
• MDTv2: Masked Diffusion Transformer is a Strong Image Synthesizer [158.06850125920923]
  拡散確率モデル(DPM)は、画像内の対象部分間の関係を学習する文脈推論能力に欠けることが多い。 画像中のオブジェクトの意味部分間の文脈的関係学習能力を高めるマスク潜在モデリング手法を提案する。 実験の結果、MDTv2は画像合成性能に優れており、例えば、新しいSOTA FIDスコアはImageNetデータセットで1.58であり、従来のSOTA DiTよりも10倍以上高速であることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T07:47:21Z)
• Image Compression with Product Quantized Masked Image Modeling [44.15706119017024]
  最近のニューラル圧縮法は、人気のあるハイパープライアフレームワークに基づいている。 Scalar Quantizationに依存しており、非常に強力な圧縮パフォーマンスを提供します。 これは、ベクトル量子化が一般的に用いられる画像生成と表現学習の最近の進歩とは対照的である。
  論文  参考訳（メタデータ） (2022-12-14T17:50:39Z)
• UNeXt: MLP-based Rapid Medical Image Segmentation Network [80.16644725886968]
  UNetとその最新の拡張であるTransUNetは、ここ数年で主要な医療画像分割手法である。 画像分割のための畳み込み多層パーセプトロンネットワークUNeXtを提案する。 パラメータ数を72倍に減らし,計算複雑性を68倍に減らし,推論速度を10倍に改善し,セグメンテーション性能も向上した。
  論文  参考訳（メタデータ） (2022-03-09T18:58:22Z)
• Locally Masked Convolution for Autoregressive Models [107.4635841204146]
  LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。 我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-22T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。