論文の概要: As the Story Unfolds: Watching a Film and Identifying Characters as a Human Does
- arxiv url: http://arxiv.org/abs/2610.37579v1
- Date: Tue, 27 Oct 2026 17:20:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.729624
- Title: As the Story Unfolds: Watching a Film and Identifying Characters as a Human Does
- Title（参考訳）: 物語の展開:映画を見て、人間としてキャラクターを識別する
- Abstract要約: そこで本研究では,映画自体から主役を識別し,名前を直接割り当てるという課題について検討する。
対話で言及されている名前と関連するビデオコンテキストが与えられた場合、モデルはその名前にどの可視性を持つかを決定する必要がある。
文字の命名と第1文字の出現を評価するためのデータセットとアノテーションを提供し、タスクのためのビデオ・アンド・ダイアログモデルを開発し、プロプライエタリなマルチモーダルな大言語モデルと比較する。
- 参考スコア（独自算出の注目度）: 88.83104906869106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Films introduce characters incrementally as they progress. We study the problem of identifying principal characters and assigning their names directly from the movie itself, without using external cast lists, actor photographs, or pre-built character banks. We introduce the character naming task: given a name mentioned in dialogue and the associated video context, the model must determine which visible character bears that name. This task is challenging because name resolution often depends on cinematic cues such as shot-reverse-shot structure, self-introduction, direct address, third-party reference, gaze, and temporal continuity. We provide a dataset and annotations for evaluating character naming and first character appearances, develop a video-and-dialogue model for the task, and compare it with proprietary multimodal large language models. We further introduce a progressive framework for building a character bank as the film unfolds. Together, these contributions support online, human-like movie understanding in which character identities are inferred from the film itself.
- Abstract（参考訳）: 映画は進行とともにキャラクターを段階的に導入する。
本研究では,外部キャストリストや俳優写真,あるいはプレビルドされたキャラクタバンクを使わずに,主キャラクタを識別し,映画自体から直接名称を割り当てるという課題について検討する。
対話で言及されている名前と関連するビデオコンテキストが与えられた場合、モデルはその名前にどの可視性を持つかを決定する必要がある。
この課題は、しばしばショット・リバース・ショット構造、自己誘導、直接アドレス、第三者参照、視線、時間的連続性といった映画的手がかりに依存するため、困難である。
文字の命名と第1文字の出現を評価するためのデータセットとアノテーションを提供し、タスクのためのビデオ・アンド・ダイアログモデルを開発し、プロプライエタリなマルチモーダルな大言語モデルと比較する。
さらに,映画が展開するにつれてキャラクタバンクを構築するためのプログレッシブな枠組みを導入する。
これらのコントリビューションは、キャラクターのアイデンティティーが映画自体から推測される、オンラインの人間のような映画理解を支援する。
関連論文リスト
- FocusedAD: Character-centric Movie Audio Description [20.257919582999133]
Movie Audio Description (AD)は、対話のないセグメントで視覚コンテンツを語り、特に視覚障害者(BVI)の聴衆に利益をもたらすことを目的としている。
キャラクタ中心の映画音声記述を提供する新しいフレームワークであるFocusedADを提案する。
論文 参考訳（メタデータ） (2025-04-16T15:04:14Z) - ScreenWriter: Automatic Screenplay Generation and Movie Summarisation [55.20132267309382]
ビデオコンテンツは、ユーザーがキープロットポイントをリコールしたり、見ずに概要を見ることができるようなテキスト記述や要約の需要を駆り立ててきた。
本稿では,映像のみを操作し,対話,話者名,シーンブレーク,視覚的記述を含む出力を生成するScreenWriterを提案する。
ScreenWriterは、映像を視覚ベクトルのシーケンスに基づいてシーンに分割する新しいアルゴリズムを導入し、アクターの顔のデータベースに基づく文字名決定の難しい問題に対する新しい方法を提案する。
論文 参考訳（メタデータ） (2024-10-17T07:59:54Z) - CHIRON: Rich Character Representations in Long-Form Narratives [98.273323001781]
文字のテキスト情報を整理・フィルタリングする新しい文字シートの表現であるCHIRONを提案する。
実験の結果,CHIRONは類似の要約に基づくベースラインよりも優れ,柔軟であることが判明した。
CHIRONから派生したメトリクスは、ストーリーのキャラクター中心性を自動的に推測するために使用することができ、これらのメトリクスは人間の判断と一致している。
論文 参考訳（メタデータ） (2024-06-14T17:23:57Z) - AutoAD II: The Sequel -- Who, When, and What in Movie Audio Description [95.70092272297704]
フレーム,キャストリスト,音声の時間的位置のCLIP視覚的特徴を考慮し,映画ADを自動生成する新しいモデルを開発した。
我々は、アプレットとアプレットの比較において、ADテキスト生成の以前のアーキテクチャよりもどのように改善されているかを実証する。
論文 参考訳（メタデータ） (2023-10-10T17:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。