論文の概要: Translation-equivariant Image Quantizer for Bi-directional Image-Text Generation

• arxiv url: http://arxiv.org/abs/2112.00384v1
• Date: Wed, 1 Dec 2021 10:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:03:27.982865
• Title: Translation-equivariant Image Quantizer for Bi-directional Image-Text Generation
• Title（参考訳）: 双方向画像テキスト生成のための変換等価画像量化器
• Authors: Woncheol Shin, Gyubok Lee, Jiyoung Lee, Joonseok Lee, Edward Choi
• Abstract要約: 現在の画像量化器はエイリアスによる量子化空間の変換等式を満足しない。 アンチエイリアシングに焦点をあてるのではなく、量子化された空間における変換等式を奨励する直接的なアプローチをとる。 VQGANを上回り,テキスト・画像生成では+22%,画像・画像生成では+26%の精度向上を実現した。
• 参考スコア（独自算出の注目度）: 12.590742075288423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, vector-quantized image modeling has demonstrated impressive performance on generation tasks such as text-to-image generation. However, we discover that the current image quantizers do not satisfy translation equivariance in the quantized space due to aliasing, degrading performance in the downstream text-to-image generation and image-to-text generation, even in simple experimental setups. Instead of focusing on anti-aliasing, we take a direct approach to encourage translation equivariance in the quantized space. In particular, we explore a desirable property of image quantizers, called 'Translation Equivariance in the Quantized Space' and propose a simple but effective way to achieve translation equivariance by regularizing orthogonality in the codebook embedding vectors. Using this method, we improve accuracy by +22% in text-to-image generation and +26% in image-to-text generation, outperforming the VQGAN.
• Abstract（参考訳）: 近年,ベクトル量子化画像モデリングはテキスト・画像生成などの生成タスクにおいて顕著な性能を示した。 しかし,現在の画像量化器は,簡単な実験装置であっても,下流のテキスト・画像生成や画像・テキスト生成において,エイリアス化や劣化による量子化空間の変換等式を満足しないことがわかった。 アンチエイリアスに注目する代わりに、量子化空間における翻訳等価性を促進するために直接のアプローチを取る。 特に,「量子化空間における翻訳等分散」と呼ばれる画像量子化器の望ましい性質を探索し,コードブック埋め込みベクトルの直交性を正則化することにより,翻訳等分散を実現するための単純かつ効果的な方法を提案する。 この手法を用いることで、VQGANよりも高い精度でテキスト・画像生成が+22%、画像・画像生成が+26%向上する。

関連論文リスト

• Image-GS: Content-Adaptive Image Representation via 2D Gaussians [55.15950594752051]
  本稿では,コンテンツ適応型画像表現であるImage-GSを提案する。 異方性2Dガウスアンをベースとして、Image-GSは高いメモリ効率を示し、高速なランダムアクセスをサポートし、自然なレベルのディテールスタックを提供する。 画像-GSの一般的な効率性と忠実性は、最近のニューラルイメージ表現と業界標準テクスチャ圧縮機に対して検証される。 この研究は、機械認識、アセットストリーミング、コンテンツ生成など、適応的な品質とリソース制御を必要とする新しいアプリケーションを開発するための洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-07-02T00:45:21Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• Conditional Score Guidance for Text-Driven Image-to-Image Translation [52.73564644268749]
  本稿では,事前訓練されたテキスト・画像拡散モデルに基づく,テキスト駆動型画像・画像変換のための新しいアルゴリズムを提案する。 本手法は,ソース画像の関心領域を選択的に編集することで,対象画像を生成することを目的とする。
  論文  参考訳（メタデータ） (2023-05-29T10:48:34Z)
• Masked and Adaptive Transformer for Exemplar Based Image Translation [16.93344592811513]
  ドメイン間のセマンティックマッチングは難しい。 正確なクロスドメイン対応を学習するためのマスク付き適応変換器(MAT)を提案する。 品質識別型スタイル表現を得るための新しいコントラスト型スタイル学習法を考案する。
  論文  参考訳（メタデータ） (2023-03-30T03:21:14Z)
• Describing Sets of Images with Textual-PCA [89.46499914148993]
  画像の集合を意味的に記述し、単一の画像の属性とセット内のバリエーションの両方をキャプチャする。 我々の手順は原理成分分析と類似しており、射影ベクトルの役割を生成されたフレーズに置き換える。
  論文  参考訳（メタデータ） (2022-10-21T17:10:49Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Draft-and-Revise: Effective Image Generation with Contextual RQ-Transformer [40.04085054791994]
  生成過程におけるグローバルコンテキストを考慮した,コンテキストRQ変換器を用いたドラフト・アンド・リビジョンの効果的な画像生成フレームワークを提案する。 実験では,条件付き画像生成における最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-06-09T12:25:24Z)
• Vector Quantized Diffusion Model for Text-to-Image Synthesis [47.09451151258849]
  テキスト・画像生成のためのベクトル量子化拡散(VQ-Diffusion)モデルを提案する。 実験の結果,VQ-Diffusion はテキスト・画像生成結果を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2021-11-29T18:59:46Z)
• Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network [73.5062435623908]
  本稿では,一連のモデル変換によって対象領域に新たなモデルを生成する新しいI2I翻訳手法を提案する。 潜在ベクトルを生成されたモデルに入力することで、ソースドメインとターゲットドメインの間でI2I翻訳を行うことができる。
  論文  参考訳（メタデータ） (2020-10-12T13:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。