論文の概要: StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description
- arxiv url: http://arxiv.org/abs/2607.11798v1
- Date: Mon, 13 Jul 2026 16:50:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.561003
- Title: StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description
- Title（参考訳）: StoryTeller: 長期オーディオ記述のためのトレーニング不要なナラティブグラウンド
- Abstract要約: 本稿では,ストーリーアウェアな長文音声記述のための学習自由フレームワークを提案する。
StoryTellerは検証済みの物語記憶を維持しており、シーン全体でストーリー関連情報を転送している。
- 参考スコア（独自算出の注目度）: 2.26752781534698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-form audio description (AD) requires more than describing visible actions: it must preserve characters, events, relationships, and story context across scenes so that blind and low-vision (BLV) audiences can follow a film. Modern video-language models (VLMs) are effective on short clips, but they often treat each moment independently, producing descriptions that miss who characters are, why events matter, and how the current scene connects to earlier narrative context. We propose StoryTeller, a training-free framework for story-aware long-form AD. Instead of relying only on local visual cues, StoryTeller maintains a verified narrative memory that carries forward story-relevant information across scenes, enabling later descriptions to remain coherent, grounded, and contextually informative. Given only raw video and a movie title, StoryTeller can optionally retrieve public movie metadata to resolve names and story context, while accepting only facts that are supported by the video through semantic filtering and VLM verification. The method requires no subtitles, scripts, AD transcripts, aligned captions, character banks, precomputed face identities, or task-specific fine-tuning. To evaluate whether generated AD preserves narrative information, we introduce StoryAD-QA, a question-answering benchmark that tests whether a language model can answer story-context questions using only the generated descriptions. Experiments on standard AD benchmarks and diverse long-form videos show that StoryTeller consistently improves narrative coherence, factual grounding, and story comprehension over strong baselines in automatic, QA-based, and human evaluations.
- Abstract（参考訳）: ロングフォームなオーディオ記述(AD)は、可視的なアクションを記述する以上のものを必要としている: 視覚的、低視的(BLV)なオーディエンスが映画をフォローできるように、登場人物、出来事、関係、ストーリーコンテキストをシーン全体で保存する必要がある。
現代のビデオ言語モデル(VLM)は短いクリップでは有効であるが、各瞬間を個別に扱うことが多く、キャラクターが誰であるか、なぜ出来事が重要か、現在のシーンが以前の物語の文脈とどのように結びついているか、といった記述を生み出している。
我々はストーリーアウェア長文ADのためのトレーニングフリーフレームワークであるStoryTellerを提案する。
ストーリーテラーは、局所的な視覚的手がかりにのみ依存するのではなく、物語関連情報をシーン全体に伝達する検証済みの物語記憶を維持しており、その後の記述は一貫性があり、根拠があり、文脈的に有益なままである。
生のビデオと映画のタイトルのみを与えられたストーリーテラーは、セマンティックフィルタリングとVLM検証を通じて、ビデオによってサポートされている事実のみを受け入れながら、名前とストーリーコンテキストを解決するための公開映画のメタデータを任意に取得することができる。
サブタイトル、スクリプト、AD文字起こし、アライメントキャプション、キャラクタバンク、事前計算された顔のアイデンティティ、タスク固有の微調整は不要である。
生成したADが物語情報を保存するかどうかを評価するために,生成した記述のみを用いて,言語モデルがストーリーコンテキストの質問に答えられるかどうかをテストする質問応答ベンチマークであるStoryAD-QAを導入する。
標準的なADベンチマークと様々なロングフォームビデオの実験では、StoryTellerは、自動、QAベース、人間による評価において、強いベースラインに対する物語の一貫性、事実的根拠、ストーリー理解を一貫して改善している。
関連論文リスト
- REFRAMED: Towards Realistic Audio Description Generation for Movies [53.11641004249926]
オーディオ記述(Audio Description、AD)は、ビデオにおける重要な視覚的内容の言葉によるナレーションであり、視覚障害のある聴衆へのアクセスを可能にする。
既存のアプローチは、記述の内容とタイミングの両方を事前に指定した人工的な環境でAD生成を定式化する。
我々は、モデルが何を記述し、いつ実行するかを共同で決めなければならないAD生成の新しい定式化を導入する。
論文 参考訳（メタデータ） (2026-08-10T15:55:56Z) - STAGE: A Benchmark for Knowledge Graph Construction, Question Answering, and In-Script Role-Playing over Movie Screenplays [16.069095458601588]
本稿では,フル長の映画画面上での物語理解のためのベンチマークであるSTAGE(Screenplay Text, Agents, Graphs and Evaluation)を紹介する。
STAGEは、ナレッジグラフの構成、シーンレベルのイベント要約、長文のスクリーンプレイ質問応答、インスクリプトのキャラクターロールプレイングの4つのタスクを、すべて共有された物語の世界表現に基づいて定義している。
このベンチマークは、クリーン化されたスクリプト、キュレートされた知識グラフ、および英語と中国語の150本の映画に対するイベント中心および文字中心のアノテーションを提供し、世界表現の構築、物語の抽象化と検証、長い物語の推論、そして生成を可能にする。
論文 参考訳（メタデータ） (2026-01-13T12:50:58Z) - ScreenWriter: Automatic Screenplay Generation and Movie Summarisation [55.20132267309382]
ビデオコンテンツは、ユーザーがキープロットポイントをリコールしたり、見ずに概要を見ることができるようなテキスト記述や要約の需要を駆り立ててきた。
本稿では,映像のみを操作し,対話,話者名,シーンブレーク,視覚的記述を含む出力を生成するScreenWriterを提案する。
ScreenWriterは、映像を視覚ベクトルのシーケンスに基づいてシーンに分割する新しいアルゴリズムを導入し、アクターの顔のデータベースに基づく文字名決定の難しい問題に対する新しい方法を提案する。
論文 参考訳（メタデータ） (2024-10-17T07:59:54Z) - Select and Summarize: Scene Saliency for Movie Script Summarization [11.318175666743656]
そこで本研究では,100本の映画に対して,人間による注釈付きサリエントシーンからなるシーン・サリエンシ・データセットを提案する。
そこで本研究では,まずスクリプト中の健全なシーンを識別し,そのシーンのみを用いて要約を生成する2段階の抽象要約手法を提案する。
論文 参考訳（メタデータ） (2024-04-04T16:16:53Z) - Long Story Short: a Summarize-then-Search Method for Long Video Question
Answering [23.094728230459125]
言語モデルがマルチメディアコンテンツの長大なマルチモーダル物語にゼロショット推論能力を拡張できるかどうかを検討する。
本稿では,まずビデオの物語を短いプロットに要約し,質問に関連するビデオの一部を検索する,物語ビデオQAのためのフレームワークであるLong Story Shortを提案する。
我々のモデルは最先端の教師付きモデルよりも大きなマージンで優れており、ロングビデオにおけるゼロショットQAの可能性を強調している。
論文 参考訳（メタデータ） (2023-11-02T13:36:11Z) - HowToCaption: Prompting LLMs to Transform Video Annotations at Scale [72.69268311756082]
本稿では,大言語モデル(LLM)の能力を活用して,大規模ビデオに対応する高品質な映像記述を実現することを提案する。
本稿では,より長い字幕テキストを考慮に入れたプロンプト手法を提案する。
我々は、HowTo100Mデータセットの字幕にメソッドを適用し、新しい大規模データセット、HowToCaptionを作成します。
論文 参考訳（メタデータ） (2023-10-07T19:32:55Z) - Album Storytelling with Iterative Story-aware Captioning and Large
Language Models [86.6548090965982]
私たちはアルバムを鮮明で一貫性のあるストーリーに変える方法を研究し、これは「アルバム・ストーリーテリング」と呼ぶタスクである。
近年のLarge Language Models (LLMs) の進歩により、長いコヒーレントなテキストを生成することが可能になった。
本手法は,アルバムのコヒーレンスと鮮明さを向上し,より正確で魅力的なストーリーを効果的に生成する。
論文 参考訳（メタデータ） (2023-05-22T11:45:10Z) - Movie101: A New Movie Understanding Benchmark [47.24519006577205]
大規模な中国の映画ベンチマーク「Movie101」を構築した。
映画ナレーション評価のためのMNScore(Movie Narration Score)と呼ばれる新しい指標を提案する。
両タスクにおいて,提案手法は外部知識をうまく活用し,慎重に設計したベースラインよりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-05-20T08:43:51Z) - HierVL: Learning Hierarchical Video-Language Embeddings [108.77600799637172]
HierVLは階層的なビデオ言語埋め込みであり、長期および短期の関連を同時に扱う。
クリップレベルとビデオレベルの両方でテキストと視覚のアライメントを促進する階層的なコントラストトレーニングの目標を導入する。
我々の階層的スキームは、SotAを達成した長期的なビデオ表現と同様に、その単一レベルよりも優れたクリップ表現をもたらす。
論文 参考訳（メタデータ） (2023-01-05T21:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。