論文の概要: StoryTR: Narrative-Centric Video Temporal Retrieval with Theory of Mind Reasoning

• arxiv url: http://arxiv.org/abs/2604.23198v1
• Date: Sat, 25 Apr 2026 08:09:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.207488
• Title: StoryTR: Narrative-Centric Video Temporal Retrieval with Theory of Mind Reasoning
• Title（参考訳）: StoryTR: 物語中心のビデオ時間検索と思考推論
• Authors: Xuanyue Zhong, Yuqiang Xie, Guanqun Bi, Jiangping Yang, Guibin Chen,
• Abstract要約: 現在のビデオモーメント検索はアクション中心のタスクでは優れているが、物語の内容では苦労している。 ToM推論を必要とする最初のビデオモーメント検索ベンチマークである textbfStoryTR を紹介する。 ToM誘導データに基づいてトレーニングされた7B textbfShorts-Momentモデルでは,ベースライン上のIoU比が+15.1%向上した。
• 参考スコア（独自算出の注目度）: 9.122764358915276
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current video moment retrieval excels at action-centric tasks but struggles with narrative content. Models can see \textit{what is happening} but fail to reason \textit{why it matters}. This semantic gap stems from the lack of \textbf{Theory of Mind (ToM)}: the cognitive ability to infer implicit intentions, mental states, and narrative causality from surface-level observations. We introduce \textbf{StoryTR}, the first video moment retrieval benchmark requiring ToM reasoning, comprising 8.1k samples from narrative short-form videos (shorts/reels). These videos present an ideal testbed. Their high information density encodes meaning through subtle multimodal cues. For instance, a glance paired with a sigh carries entirely different semantics than the glance alone. Yet multimodal perception alone is insufficient; ToM is required to decode that a character ``smiling'' may actually be ``concealing hostility.'' To teach models this reasoning capability, we propose an \textbf{Agentic Data Pipeline} that generates training data with explicit three-tier ToM chains (intent decoding, narrative reasoning, boundary localization). Experiments reveal the severity of the reasoning gap: Gemini-3.0-Pro achieves only 0.53 Avg IoU on StoryTR. However, our 7B \textbf{Shorts-Moment} model, trained on ToM-guided data, improves +15.1\% relative IoU over baselines, demonstrating that \textit{narrative reasoning capability matters more than parameter scale}.
• Abstract（参考訳）: 現在のビデオモーメント検索はアクション中心のタスクでは優れているが、物語の内容では苦労している。 モデルは \textit{What is happening} を見ることができるが、 \textit{why it important} を推論できない。 この意味的ギャップは、表層的な観察から暗黙の意図、精神状態、物語因果関係を推測する認知能力の欠如に起因している。 ToM推論を必要とする最初のビデオモーメント検索ベンチマークである \textbf{StoryTR} を紹介する。 これらのビデオは理想的なテストベッドだ。 その高情報密度は、微妙なマルチモーダルキューを通じて意味を符号化する。 例えば、うさぎと一対の視線は、単独の視線とは全く異なる意味を持ちます。 しかし、マルチモーダル認識だけでは不十分であり、ToM は ``smiling'' という文字が ``concealing enemyility' である可能性をデコードする必要がある。 この推論能力をモデルに教えるために、明示的な3層ToMチェーン(インテントデコーディング、物語推論、境界ローカライゼーション)でトレーニングデータを生成する「textbf{Agentic Data Pipeline}」を提案する。 Gemini-3.0-Pro は StoryTR で 0.53 Avg IoU しか達成していない。 しかし、ToM誘導データに基づいてトレーニングされた7B \textbf{Shorts-Moment}モデルでは、ベースラインよりも+15.1\%の相対IoUが向上し、‘textit{narrative reasoningabilities’がパラメータスケール以上であることを示した。

関連論文リスト

• SinkTrack: Attention Sink based Context Anchoring for Large Language Models [57.87121346197518]
  大型言語モデル (LLM) は幻覚やコンテキストの忘れに悩まされる。 SinkTrackはBOS>を情報アンカーとして扱い、キーコンテキストの機能をその表現に注入する。 SinkTrackはトレーニング不要で、プラグイン&プレイで、無視可能な推論オーバーヘッドを導入している。
  論文  参考訳（メタデータ） (2026-04-11T04:49:11Z)
• MME-CoF-Pro: Evaluating Reasoning Coherence in Video Generative Models with Text and Visual Hints [95.27042253462963]
  MME-CoF-Proはビデオモデルにおける推論コヒーレンスを評価するベンチマークである。 MME-CoF-Proは、視覚論理学から科学的推論まで、16のカテゴリにわたる303のサンプルを含んでいる。
  論文  参考訳（メタデータ） (2026-03-20T17:59:56Z)
• Narrative Aligned Long Form Video Question Answering [12.805359127629215]
  NA-VQA(NA-VQA)は、長大なビデオにおける時間的・物語的推論を評価するためのベンチマークである。 NA-VQAには88本のフル長の映画と4.4Kのオープンエンドの質問応答ペアが含まれており、それぞれがショート、ミディアム、ファーとラベル付けされた複数のエビデンスに根拠を置いている。 本稿では、イベントレベルの連鎖を構築し、推論中の検索のための構造化メモリに格納する、物語中心のフレームワークであるVideo-NaRAを提案する。
  論文  参考訳（メタデータ） (2026-03-19T21:23:15Z)
• Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning [79.95774256444956]
  ビジョンランゲージモデルにおける推論能力の欠如は研究談話の最前線に留まっている。 実用理論のレンズを用いて, 一般的なVLMのOpenCLIP, LLaVA-1.5, Molmoの基盤となるデータについて検討した。
  論文  参考訳（メタデータ） (2026-02-26T18:54:06Z)
• ClueTracer: Question-to-Vision Clue Tracing for Training-Free Hallucination Suppression in Multimodal Reasoning [11.30122927323085]
  本稿では,視覚的手がかり検索の指標であるClueRecallを紹介する。 本稿では,幻覚抑制のためのトレーニングフリー,パラメータフリー,アーキテクチャ非依存のプラグインであるClueTracerを紹介する。
  論文  参考訳（メタデータ） (2026-02-02T12:03:56Z)
• Thinking Before You Speak: A Proactive Test-time Scaling Approach [54.8205006555199]
  emphThinking Before You Speak (TBYS)という名前の推論フレームワークとして、私たちのアイデアを実装しています。 インテリジェンス生成のためのコンテキスト内サンプルを自動的に収集・フィルタリングするパイプラインを設計する。 挑戦的な数学的データセットの実験は、TBYSの有効性を検証する。
  論文  参考訳（メタデータ） (2025-08-26T03:43:32Z)
• Movie Facts and Fibs (MF$^2$): A Benchmark for Long Movie Understanding [97.05584099530226]
  MF$2$は、モデルがフル長の映画から重要な物語情報を理解し、統合し、思い出せるかどうかを評価するための新しいベンチマークである。 各ペアについて、モデルは真と偽のクレームの両方を正しく識別する必要がある。 実験の結果、オープンウェイトモデルとクローズド・オブ・ザ・アーティファクトモデルの両方が人間のパフォーマンスにかなり劣っていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T17:58:36Z)
• StoryGPT-V: Large Language Models as Consistent Story Visualizers [33.68157535461168]
  生成モデルは、テキストのプロンプトに基づいて、現実的で視覚的に喜ばしい画像を生成する素晴らしい能力を示しています。 しかし、新興のLarge Language Model(LLM)はあいまいな参照をナビゲートする堅牢な推論能力を示している。 本稿では,LDMとLDMの利点を生かしたemphStoryGPT-Vを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:14:29Z)
• Dual-Level Decoupled Transformer for Video Captioning [15.193977761440404]
  ビデオキャプションは、ビデオの意味概念を理解し、記述文を生成することを目的としている。 MathcalD2$はデュアルレベルの視覚分離型トランスフォーマーパイプラインである。 emph(i)をビデオ時間表現に用い,その過程を「第1空間時間」パラダイムに分離する。
  論文  参考訳（メタデータ） (2022-05-06T06:37:07Z)
• Learning to Discretely Compose Reasoning Module Networks for Video Captioning [81.81394228898591]
  ビデオキャプションのための新しい視覚的推論手法であるReasoning Module Networks (RMN)を提案する。 RMNには3つの高度なRM時間的推論と,Gumbel近似を用いた言語的損失によって訓練された動的かつ離散的なモジュールセレクタが採用されている。
  論文  参考訳（メタデータ） (2020-07-17T15:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。