論文の概要: AttriStory: Fine-grained Attribute Realization for Visual Storytelling with Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.20777v1
• Date: Wed, 20 May 2026 06:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.521493
• Title: AttriStory: Fine-grained Attribute Realization for Visual Storytelling with Diffusion Models
• Title（参考訳）: AttriStory: 拡散モデルを用いたビジュアルストーリーテリングのための微粒化属性実現
• Authors: Manogna Sreenivas, Rohit Kumar, Soma Biswas,
• Abstract要約: 本稿では,ビジュアルストーリーテリングにおける属性実現のためのベンチマークであるAttriStoryを紹介する。 大規模言語モデルを用いて10の異なる芸術的スタイルで200のマルチシーンのストーリーをキュレートする。 そこで本研究では,初期段階で動作可能なプラグイン・アンド・プレイ遅延最適化モジュールを提案する。
• 参考スコア（独自算出の注目度）: 10.910412850760126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual storytelling with diffusion models has made impressive strides in maintaining character consistency across narrative scenes. However, a critical gap remains: while these methods ensure a character remains consistent across scenes, they provide no systematic method to ensure if fine-grained attributes such as color and textures of clothing, accessories are faithfully rendered in the generated images. Towards this goal, we introduce AttriStory, a benchmark enabling attribute realization in visual storytelling. We curate 200 multi-scene stories across 10 distinct artistic styles using Large Language Model. Each scene is constructed with detailed attribute specifications to enable rich visual narratives. Further, to address attribute realization, we propose a plug-and-play latent optimization module that operates during early denoising steps, when the model establishes structural and semantic content. We achieve this through AttriLoss objective designed to maximize alignment between the cross-attention maps for desired attribute-object pairs while suppressing spurious associations, guiding models to localize attributes correctly. This approach operates orthogonally to existing consistency mechanisms, integrating seamlessly with current story generation pipelines without requiring architectural modifications. Our experiments demonstrate consistent improvements on incorporating AttriLoss across all baselines. This work positions attribute realization as a distinct, complementary dimension of visual storytelling, alongside character consistency, advancing the field toward fine-grained attribute-controlled story generation. Project-page:https://manogna-s.github.io/attristory/
• Abstract（参考訳）: 拡散モデルによるビジュアルなストーリーテリングは、物語のシーン間でのキャラクターの一貫性を維持するために、印象的な一歩を踏み出した。 しかし、これらの手法は、登場人物がシーン全体にわたって一貫していることを保証しているが、衣服の色やテクスチャなどのきめ細かい属性が生成画像に忠実に反映されていることを保証するための体系的な方法を提供していない。 この目標に向けて、視覚的なストーリーテリングにおいて属性実現を可能にするベンチマークであるAttriStoryを紹介する。 大規模言語モデルを用いて10の異なる芸術的スタイルで200のマルチシーンのストーリーをキュレートする。 各シーンは、リッチなビジュアルな物語を可能にするために、詳細な属性仕様で構築されます。 さらに,属性の実現に対処するため,モデルが構造的・意味的コンテンツを確立する際に,初期段階の動作を行うプラグイン・アンド・プレイ遅延最適化モジュールを提案する。 本研究では,属性-対象ペア間のアライメントを最大化しつつ,属性を正しくローカライズするモデルを導出しながら,属性-対象ペア間のアライメントを最大化するAttriLossの目的によりこれを達成する。 このアプローチは、アーキテクチャの変更を必要とせずに、現行のストーリ生成パイプラインとシームレスに統合する、既存の一貫性メカニズムと直交して動作する。 実験では,すべてのベースラインにAttriLosを組み込むことによる一貫した改善を実証した。 この作業は、属性制御されたストーリー生成に向けて、キャラクタの一貫性とともに、視覚的ストーリーテリングの区別された相補的な次元として、属性認識を特徴付けている。 プロジェクトページ:https://manogna-s.github.io/attristory/

関連論文リスト

• StoryWeaver: A Unified World Model for Knowledge-Enhanced Story Character Customization [36.14275850149665]
  本稿では,様々なストーリー関連知識を包括的に表現した新しい知識グラフ,すなわちキャラクタグラフ(textbfCG)を提案する。 次に、リッチテキストセマンティクスと一貫したストーリー視覚化が可能な、キャラクタグラフ(textbfC-CG)によるカスタマイズを実現するイメージジェネレータであるStoryWeaverを紹介する。
  論文  参考訳（メタデータ） (2024-12-10T10:16:50Z)
• Openstory++: A Large-scale Dataset and Benchmark for Instance-aware Open-domain Visual Storytelling [81.69474860607542]
  画像とテキストの両方にインスタンスレベルのアノテーションを追加する大規模データセットであるOpenstory++を提示する。 また、長いマルチモーダルコンテキストが提供される際に、画像生成タスクを評価するための先駆的なベンチマークフレームワークであるCohere-Benchについても紹介する。
  論文  参考訳（メタデータ） (2024-08-07T11:20:37Z)
• StoryImager: A Unified and Efficient Framework for Coherent Story Visualization and Completion [78.1014542102578]
  ストーリービジュアライゼーションは、ストーリーラインに基づいて現実的で一貫性のある画像を生成することを目的としている。 現在のモデルは、事前訓練されたテキストから画像へのモデルを自動回帰的な方法で変換することで、フレーム・バイ・フレームアーキテクチャを採用している。 双方向で統一的で効率的なフレームワーク,すなわちStoryImagerを提案する。
  論文  参考訳（メタデータ） (2024-04-09T03:22:36Z)
• Make-A-Story: Visual Memory Conditioned Consistent Story Generation [57.691064030235985]
  本稿では,アクタと背景コンテキストを暗黙的にキャプチャするビジュアルメモリモジュールを備えた,自己回帰拡散に基づく新しいフレームワークを提案する。 本手法は,視覚的品質の高いフレーム生成において,先行技術よりも優れていた。 MUGEN, PororoSV, FlintstonesSVデータセット上でのストーリー生成実験により, この手法は, 視覚的品質の高いフレーム生成において, 先行技術よりも優れるだけでなく, キャラクタと背景との適切な対応をモデル化した。
  論文  参考訳（メタデータ） (2022-11-23T21:38:51Z)
• StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation [76.44802273236081]
  生成したビジュアルストーリーをソースイメージに条件付けしたストーリー継続のためのモデルであるStoryDALL-Eを開発した。 提案手法は, ストーリー継続のためのGANモデルよりも優れており, 画像からの視覚要素のコピーを容易にする。 全体として、本研究は、事前訓練されたテキスト-画像合成モデルがストーリー継続のような複雑で低リソースなタスクに適応できることを実証している。
  論文  参考訳（メタデータ） (2022-09-13T17:47:39Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。