論文の概要: Semantic-Conditional Diffusion Networks for Image Captioning

• arxiv url: http://arxiv.org/abs/2212.03099v1
• Date: Tue, 6 Dec 2022 16:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 15:55:50.834049
• Title: Semantic-Conditional Diffusion Networks for Image Captioning
• Title（参考訳）: 画像キャプションのための意味条件拡散ネットワーク
• Authors: Jianjie Luo and Yehao Li and Yingwei Pan and Ting Yao and Jianlin Feng and Hongyang Chao and Tao Mei
• Abstract要約: 画像キャプションに適した拡散モデルに基づく新しいパラダイム,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。 SCD-Netでは、複数の拡散変換器構造を積み重ねて、より優れた視覚言語アライメントと言語的コヒーレンスで出力文を徐々に強化する。 COCOデータセットの実験は、困難な画像キャプションタスクにおいて拡散モデルを使用することの有望な可能性を示している。
• 参考スコア（独自算出の注目度）: 116.86677915812508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances on text-to-image generation have witnessed the rise of diffusion models which act as powerful generative models. Nevertheless, it is not trivial to exploit such latent variable models to capture the dependency among discrete words and meanwhile pursue complex visual-language alignment in image captioning. In this paper, we break the deeply rooted conventions in learning Transformer-based encoder-decoder, and propose a new diffusion model based paradigm tailored for image captioning, namely Semantic-Conditional Diffusion Networks (SCD-Net). Technically, for each input image, we first search the semantically relevant sentences via cross-modal retrieval model to convey the comprehensive semantic information. The rich semantics are further regarded as semantic prior to trigger the learning of Diffusion Transformer, which produces the output sentence in a diffusion process. In SCD-Net, multiple Diffusion Transformer structures are stacked to progressively strengthen the output sentence with better visional-language alignment and linguistical coherence in a cascaded manner. Furthermore, to stabilize the diffusion process, a new self-critical sequence training strategy is designed to guide the learning of SCD-Net with the knowledge of a standard autoregressive Transformer model. Extensive experiments on COCO dataset demonstrate the promising potential of using diffusion models in the challenging image captioning task. Source code is available at \url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}.
• Abstract（参考訳）: テキスト対画像生成の最近の進歩は、強力な生成モデルとして機能する拡散モデルの増加を目撃している。 それでも、そのような潜伏変数モデルを利用して個々の単語間の依存を捉え、画像キャプションにおける複雑な視覚言語アライメントを追求することは容易ではない。 本稿では,トランスフォーマーをベースとしたエンコーダデコーダの学習における根深い慣習を破り,画像キャプションに適した新しい拡散モデル,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。 技術的には、各入力画像に対して、まずクロスモーダル検索モデルを用いて意味のある文を検索し、包括的意味情報を伝達する。 リッチなセマンティクスは、拡散過程において出力文を生成する拡散変換器の学習を誘導する前に意味的と見なされる。 SCD-Netでは、複数の拡散トランスフォーマー構造を積み重ねて、視覚言語的アライメントと言語的コヒーレンスをケースケード的に向上させる。 さらに,拡散過程の安定化を図るため,SCD-Netの学習を標準自己回帰変換モデルの知識で導くために,新たな自己臨界シーケンストレーニング戦略を考案した。 cocoデータセットの広範な実験は、挑戦的画像キャプションタスクにおける拡散モデルの利用の可能性を示している。 ソースコードは \url{https://github.com/yehli/xmodaler/tree/master/configs/image_caption/scdnet} で入手できる。

関連論文リスト

• LaDiC: Are Diffusion Models Really Inferior to Autoregressive Counterparts for Image-to-Text Generation? [10.72249123249003]
  我々は拡散モデルを再検討し、全体論的文脈モデリングと並列復号化の能力を強調した。 本稿では,分割BERTを用いた新しいアーキテクチャLaDiCを導入し,キャプション専用のラテント空間を創出する。 LaDiCは、38.2 BLEU@4と126.2 CIDErのMSデータセット上で拡散ベースのメソッドの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:47:16Z)
• Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
  既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。 文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。 我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
  論文  参考訳（メタデータ） (2024-01-04T01:10:56Z)
• Prefix-diffusion: A Lightweight Diffusion Model for Diverse Image Captioning [36.4086473737433]
  本稿では,プレフィックス拡散(Prefix-diffusion)と呼ばれる,連続拡散を伴う軽量画像キャプションネットワークを提案する。 多様性を実現するために,拡散モデルの復調過程にプレフィックス画像埋め込みを注入する効率的な手法を設計する。 トレーニング可能なパラメータを減らすために,事前学習モデルを用いて画像の特徴を抽出し,さらに余分なマッピングネットワークを設計する。
  論文  参考訳（メタデータ） (2023-09-10T08:55:24Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• Reverse Stable Diffusion: What prompt was used to generate this image? [73.10116197883303]
  本研究では, 生成拡散モデルにより生成された画像に対して, 迅速な埋め込みを予測できる課題について検討する。 本稿では,複数ラベルの語彙分類を目的とする共同学習フレームワークを提案する。 我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
  論文  参考訳（メタデータ） (2023-08-02T23:39:29Z)
• Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance [51.188396199083336]
  非対称勾配法の適用により拡散サンプリングの逆過程を導出する手法を提案する。 我々のモデルの適応性は、画像融合モデルと潜時拡散モデルの両方で実装できる。 実験により,本手法は画像翻訳タスクにおいて,様々な最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-07T12:56:56Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
  本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。 VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。 提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
  論文  参考訳（メタデータ） (2022-09-14T21:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。