論文の概要: DiffuVST: Narrating Fictional Scenes with Global-History-Guided Denoising Models

• arxiv url: http://arxiv.org/abs/2312.07066v1
• Date: Tue, 12 Dec 2023 08:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 17:02:42.081186
• Title: DiffuVST: Narrating Fictional Scenes with Global-History-Guided Denoising Models
• Title（参考訳）: DiffuVST:グローバル・ヒストリー誘導デノナイジングモデルによるフィクションシーンのナレーション
• Authors: Shengguang Wu, Mei Yuan, Qi Su
• Abstract要約: ビジュアルなストーリーテリングは、現実のイメージを超えてますます求められている。 一般的に自己回帰デコーダを使用する現在の技術は、推論速度が低く、合成シーンには適していない。 本稿では,一連の視覚的記述を単一条件記述プロセスとしてモデル化する拡散型システムDiffuVSTを提案する。
• 参考スコア（独自算出の注目度）: 6.668241588219693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in image and video creation, especially AI-based image synthesis, have led to the production of numerous visual scenes that exhibit a high level of abstractness and diversity. Consequently, Visual Storytelling (VST), a task that involves generating meaningful and coherent narratives from a collection of images, has become even more challenging and is increasingly desired beyond real-world imagery. While existing VST techniques, which typically use autoregressive decoders, have made significant progress, they suffer from low inference speed and are not well-suited for synthetic scenes. To this end, we propose a novel diffusion-based system DiffuVST, which models the generation of a series of visual descriptions as a single conditional denoising process. The stochastic and non-autoregressive nature of DiffuVST at inference time allows it to generate highly diverse narratives more efficiently. In addition, DiffuVST features a unique design with bi-directional text history guidance and multimodal adapter modules, which effectively improve inter-sentence coherence and image-to-text fidelity. Extensive experiments on the story generation task covering four fictional visual-story datasets demonstrate the superiority of DiffuVST over traditional autoregressive models in terms of both text quality and inference speed.
• Abstract（参考訳）: 画像とビデオの作成の最近の進歩、特にAIベースの画像合成は、高度な抽象性と多様性を示す多くの視覚シーンの生成につながっている。 その結果、視覚的ストーリーテリング(VST)は、画像の集合から有意義で一貫性のある物語を生成するタスクであり、さらに困難になり、現実のイメージを超えてますます求められている。 通常自己回帰デコーダを使用する既存のVST技術は大きな進歩を遂げているが、推論速度が低く、合成シーンには適していない。 そこで本研究では,一連の視覚記述の生成を単一条件の雑音化過程としてモデル化する拡散系システムdiffuvstを提案する。 確率的かつ非自己回帰的な diffuvst の推論時間における性質により、非常に多様な物語をより効率的に生成することができる。 さらに、DiffuVSTは双方向のテキスト履歴ガイダンスとマルチモーダルアダプタモジュールを備えたユニークな設計で、文間コヒーレンスと画像からテキストへの忠実さを効果的に改善する。 4つの架空のビジュアルストーリーデータセットをカバーするストーリー生成タスクに関する広範な実験は、テキストの品質と推論速度の両方において、従来の自己回帰モデルよりもdiffuvstが優れていることを示している。

関連論文リスト

• MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence [62.72540590546812]
  MovieDreamerは、自己回帰モデルの強みと拡散ベースのレンダリングを統合する、新しい階層的なフレームワークである。 様々な映画ジャンルにまたがって実験を行い、そのアプローチが優れた視覚的・物語的品質を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-23T17:17:05Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• Towards Multi-Task Multi-Modal Models: A Video Generative Perspective [5.495245220300184]
  この論文は、さまざまな条件下でビデオやその他のモダリティを生成するマルチタスクモデルを構築するために、我々の努力を年代記している。 我々は、視覚的観察と解釈可能な語彙の双方向マッピングのための新しいアプローチを公表する。 私たちのスケーラブルなビジュアルトークン表現は、生成、圧縮、理解タスクで有益であることが証明されます。
  論文  参考訳（メタデータ） (2024-05-26T23:56:45Z)
• Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
  条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。 本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。 理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:16Z)
• Make-A-Story: Visual Memory Conditioned Consistent Story Generation [57.691064030235985]
  本稿では,アクタと背景コンテキストを暗黙的にキャプチャするビジュアルメモリモジュールを備えた,自己回帰拡散に基づく新しいフレームワークを提案する。 本手法は,視覚的品質の高いフレーム生成において,先行技術よりも優れていた。 MUGEN, PororoSV, FlintstonesSVデータセット上でのストーリー生成実験により, この手法は, 視覚的品質の高いフレーム生成において, 先行技術よりも優れるだけでなく, キャラクタと背景との適切な対応をモデル化した。
  論文  参考訳（メタデータ） (2022-11-23T21:38:51Z)
• Synthesizing Coherent Story with Auto-Regressive Latent Diffusion Models [33.69732363040526]
  本稿では,歴史キャプションや生成画像に自動条件付き遅延拡散モデルAR-LDMを提案する。 これは、コヒーレントなビジュアルストーリー合成のための拡散モデルの利用に成功している最初の作品である。
  論文  参考訳（メタデータ） (2022-11-20T11:22:24Z)
• StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation [76.44802273236081]
  生成したビジュアルストーリーをソースイメージに条件付けしたストーリー継続のためのモデルであるStoryDALL-Eを開発した。 提案手法は, ストーリー継続のためのGANモデルよりも優れており, 画像からの視覚要素のコピーを容易にする。 全体として、本研究は、事前訓練されたテキスト-画像合成モデルがストーリー継続のような複雑で低リソースなタスクに適応できることを実証している。
  論文  参考訳（メタデータ） (2022-09-13T17:47:39Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。