論文の概要: KathaTrace: Diagnosing Semantic Trajectory Collapse in Generated Visual Narratives

• arxiv url: http://arxiv.org/abs/2607.01312v1
• Date: Wed, 01 Jul 2026 17:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.541787
• Title: KathaTrace: Diagnosing Semantic Trajectory Collapse in Generated Visual Narratives
• Title（参考訳）: KathaTrace: 生成した視覚的物語における意味的軌道崩壊の診断
• Abstract要約: ビジュアルな物語は、ストーリーボード、漫画、子供向けのメディア、映画の前向き化の中心である。 StoryDiffusionのような最近のジェネレータはコヒーレントシーケンスを生成するが、ビジュアルコヒーレンスによってソース-ストーリー遷移の意味が回復可能であることは保証されていない。 本稿では,意味的軌道崩壊を診断するためのジェネレータに依存しないプロトコルであるKathaTraceを紹介する。
• 参考スコア（独自算出の注目度）: 3.797867929356259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual narratives are central to storyboards, comics, children's media, and film previsualization, where viewers understand stories from images alone. Recent generators such as StoryDiffusion produce coherent sequences, but visual coherence does not guarantee that source-story transition meaning remains recoverable. Existing benchmarks assess visual quality, content faithfulness, and scene coherence, but miss a critical failure mode: storyboards where scenes appear visually coherent while the semantic link between scenes disappears. We introduce KathaTrace, a generator-agnostic protocol for diagnosing semantic trajectory collapse, defined as the loss of transition meaning needed to understand how one scene follows another. KathaTrace evaluates transitions under three evidence conditions: text-only, image-only, and text-plus-image, and filters ambiguous items. We contribute KathaBench-25K, with 5,000 narratives from classical collections including Aesop, Panchatantra, and Kathasaritasagara, 20,000 transitions, and 28,712 recoverability questions. We define Semantic Trajectory Gap, or STG, as text-only minus image-only recoverability, measuring transition meaning lost during visualization. Human validation yields Fleiss' kappa = 0.845. Experiments across state-of-the-art generators show substantial STG of 23.5 +/- 1.3. Semantic Compass, an actionability probe, uses KathaTrace signals for post-generation repair and improves storyboard selection.
• Abstract（参考訳）: ビジュアルな物語は、ストーリーボード、漫画、子供のメディア、映画前化の中心であり、視聴者は画像のみから物語を理解する。 StoryDiffusionのような最近のジェネレータはコヒーレントシーケンスを生成するが、ビジュアルコヒーレンスによってソース-ストーリー遷移の意味が回復可能であることは保証されていない。 既存のベンチマークでは、視覚的品質、コンテンツ忠実性、シーンコヒーレンスを評価しているが、重要な失敗モードを見逃している。 本稿では,意味的軌道崩壊を診断するためのジェネレータに依存しないプロトコルであるKathaTraceを紹介した。 KathaTraceは、テキストのみ、画像のみ、およびテキスト+画像の3つのエビデンス条件の下で遷移を評価し、曖昧な項目をフィルタリングする。 我々は、Aesop、Panchatantra、Kathasaritasagaraなどの古典的コレクションから5,000冊の物語、20,000のトランジション、28,712のリカバリビリティに関する質問をコントリビュートする。 我々はセマンティック・トラジェクトリ・ギャップ(STG)をテキストのみによる画像のみの回復可能性として定義し、可視化中に失われる遷移を計測する。 Fleiss' kappa = 0.845 である。 最先端の発電機での実験では、STGは23.5 +/- 1.3である。 セマンティック・コンパス(Semantic Compass)は、アクティビビリティー・プローブであり、カサトラス信号を用いてポストジェネレーションの修理を行い、ストーリーボードの選択を改善する。

関連論文リスト

• ENEAS: Embedding-guided Neural Ensemble for Adaptive Segmentation [36.94429692322632]
  本研究では,インスタンス追跡と意味発見のためのテキストプロンプタブルなENEASを提案する。 我々は、以前は点間相互作用に限られていた幾何学的に堅牢なSeCアーキテクチャをテキストプロンプトアダプタで拡張する。 検証層は、条件付きVLM精製と高速な視覚埋め込みマッチングを組み合わせ、曖昧な候補に対してのみ意味推論を誘発する。
  論文  参考訳（メタデータ） (2026-09-03T12:25:26Z)
• PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation [118.49150310327475]
  PersonaShotは、マルチショットビデオ生成における物語の連続性に関する最初の人中心のベンチマークである。 約1,000のマルチショットセグメントと16のメトリクスがあり、物理的連続性、感情力学、映画文法にまたがっている。
  論文  参考訳（メタデータ） (2026-08-17T15:34:54Z)
• InfinityStory: Unlimited Video Generation with World Consistency and Character-Aware Shot Transitions [137.1784538723039]
  本稿では,ビデオ合成における3つの限界に対処する新しいフレームワーク,データセット,モデルを提案する。 ショット間のバックグラウンド一貫性、シームレスなマルチオブジェクトショット・ツー・ショット・トランジション、時間単位の物語へのスケーラビリティに対処する。 本稿では,複数の被写体が入射する複雑なシナリオに対してスムーズなショット遷移を生成するトランジション対応ビデオ合成モジュールを提案する。
  論文  参考訳（メタデータ） (2026-03-04T02:10:32Z)
• StoryTailor:A Zero-Shot Pipeline for Action-Rich Multi-Subject Visual Narratives [7.243114047801061]
  本稿では、時間的コヒーレントなアイデンティティ保存画像列を生成するゼロショットパイプラインを提案する。 ストーリーは表現力のあるインタラクションを提供し、安定したシーンを進化させる。
  論文  参考訳（メタデータ） (2026-02-24T16:07:02Z)
• Cut2Next: Generating Next Shot via In-Context Tuning [93.14744132897428]
  マルチショット生成には、目的があり、映画のような遷移と厳密な撮影連続性が必要である。 現在の手法はしばしば基本的な視覚的一貫性を優先し、重要な編集パターンを無視している。 我々は、プロの編集パターンを批判的に合成する、その後の高品質なショットであるNext Shot Generation (NSG)を紹介する。
  論文  参考訳（メタデータ） (2025-08-11T17:56:59Z)
• StoryReasoning Dataset: Using Chain-of-Thought for Scene Understanding and Grounded Story Generation [1.0312968200748118]
  ビジュアルストーリーテリングシステムは、フレームをまたいだキャラクターのアイデンティティを維持し、適切な主題にアクションをリンクするのに苦労する。 52,016本の映画画像から得られた4,178個のストーリーを含むデータセットであるStoryReasoningを提案する。 非微調整モデルと比較して,1ストーリー平均で4.06から3.56(-12.3%)の幻覚が減少し,クリエイティビティが2.58から3.38(+31.0%)に改善した。
  論文  参考訳（メタデータ） (2025-05-15T13:42:14Z)
• VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [70.61101071902596]
  現在のビデオ生成モデルは短いクリップで優れているが、解離した視覚力学と破折したストーリーラインのため、凝集性のある複数ショットの物語を生成できない。 一つの文から複数ショットのビデオ合成を自動化する,ステップバイステップのフレームワークであるVideoGen-of-Thought (VGoT)を紹介した。 VGoTは、ショット内の顔の一貫性が20.4%、スタイルの一貫性が17.4%向上するマルチショットビデオを生成する。
  論文  参考訳（メタデータ） (2025-03-19T11:59:14Z)
• VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [76.3175166538482]
  VideoGen-of-Thought(VGoT)は、単一の文から複数ショットのビデオ合成を自動化するステップバイステップのフレームワークである。 VGoTは、ナラティブな断片化、視覚的不整合、トランジションアーティファクトの3つの課題に対処する。 トレーニング不要のパイプラインで組み合わせられたVGoTは、ショット内面の一貫性が20.4%、スタイルの一貫性が17.4%向上した。
  論文  参考訳（メタデータ） (2024-12-03T08:33:50Z)
• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。