論文の概要: Beyond Anonymous Captions: Grounding Character Identity in Video Captioning and Question Answering

• arxiv url: http://arxiv.org/abs/2610.10163v1
• Date: Wed, 07 Oct 2026 14:41:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.960627
• Title: Beyond Anonymous Captions: Grounding Character Identity in Video Captioning and Question Answering
• Title（参考訳）: 匿名キャプションを超えて:ビデオキャプションにおけるキャラクタ識別と質問回答
• Abstract要約: 本稿では,アイデンティティを意識したビデオキャプションと個人中心の質問応答のためのフレームワークを提案する。 私たちのパイプラインは、検出された顔とアクターの参照画像に一致し、フレームをまたいだ文字を追跡し、アイデンティティをリンクしたバウンディングボックスでインプットを構築する。 約32Kのキャプション付きクリップ上で,2B,4B,8BスケールのQwenモデルを用いてBACを導入する。
• 参考スコア（独自算出の注目度）: 0.30786914102688595
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Linking people's appearance and actions to character identities is essential for understanding video narratives. We present a framework for identity-aware video captioning and person-centric question answering that combines automatic character identification, explicit spatial grounding, and task-specific adaptation. Starting from LSMDC v2 movie clips, our pipeline matches detected faces to actor reference images, tracks characters across frames, and builds inputs with identity-linked bounding boxes. A strong vision-language model generates identity-aware captions and questions, which are manually verified and filtered to create a benchmark of 750 captioned clips and 3,000 person-centric questions. We study five grounding strategies combining textual coordinates with visual face or estimated person boxes across Video-MLLM families at roughly 2B, 4B, and 8B parameters and larger frontier models. Combining visual face boxes with textual coordinates yields the most consistent performance across scales and significantly improves overall performance over coordinates alone. Smaller models tend to over-assign known identities when the queried person is not grounded, while larger models better recognize such UNIDENTIFIED cases. We introduce BAC by LoRA fine-tuning Qwen models at 2B, 4B, and 8B scales on about 32K identity-aware captioned clips. Across all scales, BAC outperforms every other evaluated model family of comparable size. BAC-8B reaches 93.20\% overall QA accuracy, ranking behind only GPT-5.6 Sol among the frontier models evaluated in our study. Overall, explicitly communicating who is where, together with lightweight task-specific adaptation, substantially improves identity-aware video understanding without changing the underlying architecture. We release the benchmark, training data, code, and BAC checkpoints at https://github.com/momentslab/beyond-anonymous-captions.
• Abstract（参考訳）: 人の外見や行動とキャラクタのアイデンティティを結びつけることは、ビデオの物語を理解する上で不可欠である。 本稿では,自己認識型ビデオキャプションと人物中心型質問応答のためのフレームワークを提案する。 LSMDC v2の映画クリップから始めて、パイプラインは検出された顔とアクターの参照画像にマッチし、フレームをまたいで文字を追跡し、アイデンティティをリンクしたバウンディングボックスで入力を構築する。 強力な視覚言語モデルは、アイデンティティを意識したキャプションと質問を生成し、手動で検証され、750のキャプション付きクリップと3000人の個人中心の質問のベンチマークを作成する。 約2B, 4B, 8Bパラメータとより大きなフロンティアモデルを用いて, テキスト座標と視覚面, 推定人体箱を組み合わせた5つのグラウンド戦略について検討した。 ビジュアルフェイスボックスとテキスト座標を組み合わせることで、スケール全体において最も一貫したパフォーマンスが得られ、座標のみよりも全体的なパフォーマンスが大幅に向上する。 より小さなモデルは、クエリされた人物が接地されていないときに既知のアイデンティティを過度に割り当てる傾向があり、大きなモデルはそのようなUNIDENTIFIEDケースをよりよく認識する。 約32Kのキャプション付きクリップ上で,2B,4B,8BスケールのQwenモデルを用いてBACを導入する。 すべてのスケールにおいて、BACは同等の大きさのモデルファミリで評価された他のすべてのモデルファミリよりも優れています。 BAC-8Bは全QA精度93.20%に達し,本研究で評価されたフロンティアモデルのうち, GPT-5.6 Sol に次いで評価された。 全体としては、誰が軽量なタスク固有の適応と共に、基盤となるアーキテクチャを変更することなく、アイデンティティを意識したビデオ理解を大幅に改善するかを明確に伝達する。 ベンチマーク、トレーニングデータ、コード、BACチェックポイントはhttps://github.com/momentslab/beyond-anonymous-captionsでリリースしています。

関連論文リスト

• One Identity, Many Roles: Multimodal Entity Coreference for Enhanced Video Situation Recognition [17.329901171579973]
  ビデオインシデント認識(VidSitu)は、ビデオで「誰に何をし、どのように、どこでどこで何をしたか」という難しい問題に対処する。 複数のイベントにまたがって、健全なアクションと関連するイベントロールに関する短い記述を識別することで、ビデオの理解を徹底的にテストする。 本稿では,ビデオのグラウンド化とともにテキスト中の記述を統一するために,Multimodal Entity Coreference (MEC)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T06:55:13Z)
• Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering [81.15678825882692]
  EgoPointVQAはジェスチャー中心の質問応答のためのデータセットとベンチマークである。 Hand Intent Tokens (HINT) は、既製の復元モデルを用いて、3Dの手のキーポイントから派生したトークンを符号化する。 我々のモデルは、異なるバックボーンとモデルサイズで他よりも優れています。
  論文  参考訳（メタデータ） (2026-03-13T00:23:38Z)
• VideoAnchor: Reinforcing Subspace-Structured Visual Cues for Coherent Visual-Spatial Reasoning [69.64660280965971]
  VideoAnchorは、サブスペース親和性を活用してフレーム間の視覚的手がかりを強化するプラグイン・アンド・プレイモジュールである。 InternVL2-8BとQ2.5VL-72Bのベンチマークで一貫した性能向上を示した。 私たちのコードはhttps://github.com/feufhd/VideoAnchor.comで公開されます。
  論文  参考訳（メタデータ） (2025-09-29T17:54:04Z)
• MICap: A Unified Model for Identity-aware Movie Descriptions [16.287294191608893]
  空白字幕を付与した場合に,ID認識キャプション生成やFITBをシームレスに切り替えることのできる,新しい単一ステージアプローチを提案する。 私たちのモデルであるMICap(Movie-Identity Captioner)は、FITBとフルキャプション生成のトレーニングの恩恵を受ける、共有自動回帰デコーダを使用します。
  論文  参考訳（メタデータ） (2024-05-19T08:54:12Z)
• Robust Character Labeling in Movie Videos: Data Resources and Self-supervised Feature Adaptation [39.373699774220775]
  我々は、240のハリウッド映画と弱いラベルでキュレートされた169,000以上のフェイストラックのデータセットを提示する。 これらのトラックからハードサンプルをマイニングするために,埋め込み空間の近傍探索に基づくオフラインアルゴリズムを提案する。 全体として、多視点相関に基づく適応はより差別的で堅牢な顔埋め込みをもたらす。
  論文  参考訳（メタデータ） (2020-08-25T22:07:41Z)
• Identity-Aware Multi-Sentence Video Description [105.13845996039277]
  本稿では,一組のクリップ内に一貫した人物の身元を予測することを目的とした,身元確認の補助的タスクを提案する。 鍵となるコンポーネントの1つは、性別を意識したテキスト表現であり、メインモデルにおける追加の性別予測目標である。 実験の結果,提案したフィリング・イン・ザ・アイデンティティ・モデルは,いくつかのベースラインや最近の研究よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-08-22T09:50:43Z)
• Learning Person Re-identification Models from Videos with Weak Supervision [53.53606308822736]
  本稿では、監督の弱いビデオから人物再識別モデルを学ぶ問題について紹介する。 このようなビデオレベルラベルを用いた人物再識別のための多段階注意学習フレームワークを提案する。 注意重みは、ビデオ中の人物追跡レットではなく、すべての人物画像に基づいて得られるため、学習したモデルはノイズの多いアノテーションの影響を受けにくくなる。
  論文  参考訳（メタデータ） (2020-07-21T07:23:32Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)
• Character Matters: Video Story Understanding with Character-Aware Relations [47.69347058141917]
  ビデオストーリー質問回答(VSQA)は、モデルのより高度な理解能力をベンチマークする効果的な方法を提供する。 現在のVSQAメソッドは、単にシーンから一般的な視覚的特徴を抽出するだけである。 本稿では,文字認識関係を改良する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-09T06:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。