論文の概要: Beyond the Single Camera: Agentic Multi-View Reasoning in Sports Video Understanding
- arxiv url: http://arxiv.org/abs/2607.11844v1
- Date: Mon, 13 Jul 2026 17:34:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.569244
- Title: Beyond the Single Camera: Agentic Multi-View Reasoning in Sports Video Understanding
- Title（参考訳）: シングルカメラの向こうに:スポーツビデオ理解におけるエージェント的マルチビュー推論
- Abstract要約: マルチビュースポーツ映像理解のためのベンチマークであるSportMV-Benchを紹介する。
解析の結果,現在のMLLMはマルチビュー情報を効果的に活用できないことがわかった。
本研究では,アクティブなビュー選択,認識ツールの実行,エビデンスに基づく推論の反復ループを編成するエージェントフレームワークであるSportMV-Agentを提案する。
- 参考スコア（独自算出の注目度）: 21.581174236498196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent Multimodal Large Language Models (MLLMs) achieve strong performance on single-view video understanding benchmarks. However, sports videos involve dense occlusion, rapid motion, and complex interactions that are difficult to resolve from a single viewpoint. In practice, sports events are recorded from multiple camera angles, providing complementary evidence used by referees. Yet, no existing benchmark evaluates MLLMs on multi-view sports video understanding. To address this gap, we introduce SportMV-Bench, a comprehensive benchmark built from official match recordings, through a dedicated pipeline combining LLM-based generation, MLLM-based verification, and human filtering to ensure quality and consistency. SportMV-Bench containing 787 multi-view video bundles and 2592 question-answer pairs across three categories: Perception-Aware Recognition (PAR), Rule-aware Event Interpretation (REI), and Adjudicative Decision Reasoning(ADR). Our analysis shows that current MLLMs fail to effectively exploit multi-view information, with the bottlenecks lying in fine-grained visual perception and view selection rather than logical reasoning or domain knowledge. We propose SportMV-Agent, an agentic framework that orchestrates an iterative loop of active view selection, perception tool execution, and evidence-grounded reasoning, achieving a significant 14.46% relative improvement over the strongest MLLM baseline.
- Abstract（参考訳）: 近年のMLLM(Multimodal Large Language Models)は,シングルビュービデオ理解ベンチマークにおいて高い性能を達成している。
しかし、スポーツビデオには密閉、急激な動き、複雑な相互作用が含まれており、単一の視点では解決が難しい。
実際には、スポーツイベントは複数のカメラアングルから記録され、審判が使用する補完的な証拠を提供する。
しかし,マルチビュースポーツ映像理解においてMLLMを評価するベンチマークは存在しない。
このギャップに対処するために、私たちは、LSMベースの生成、MLLMベースの検証、品質と一貫性を保証するための人間のフィルタリングを組み合わせた専用のパイプラインを通じて、公式のマッチ記録から構築された包括的なベンチマークであるSportMV-Benchを紹介します。
SportMV-Benchには、知覚認識(PAR)、ルール認識イベント解釈(REI)、適応決定推論(ADR)の3つのカテゴリにまたがる787のマルチビュービデオバンドルと2592の質問応答ペアが含まれている。
分析の結果、現在のMLLMは、論理的推論やドメイン知識よりも、微粒な視覚知覚やビュー選択にボトルネックがあるため、マルチビュー情報を効果的に活用できないことがわかった。
本研究では,アクティブな視点選択,認識ツールの実行,エビデンスに基づく推論の反復ループを編成するエージェントフレームワークであるSportMV-Agentを提案し,最強のMLLMベースラインに対して14.46%の相対的改善を実現した。
関連論文リスト
- Benchmarking Visual State Tracking in Multimodal Video Understanding [67.73383974166462]
マルチモーダル大言語モデル(MLLM)における視覚状態追跡の診断のためのVisual STAte Tracking benchmark (VSTAT)を導入する。
VSTATは、合成ビデオと実世界のビデオの両方から834のクリップで構成され、1500の質問と組み合わせて、1つのフレームまたはショートセグメントから答えられない。
MLLMは理由を見つけ、テキストで正しく追跡するが、追跡するイベントを視覚的に知覚することができない。
論文 参考訳（メタデータ） (2026-06-02T17:12:05Z) - A Skill-augmented Agentic Framework and Benchmark for Multi-Video Understanding [69.31609753061137]
マルチモーダルな大規模言語モデルはシングルビデオ理解において高いパフォーマンスを達成しているが、複数のビデオにまたがる推論能力は依然として限られている。
既存のアプローチでは、複数のビデオを1つの入力にまとめて直接推論を行い、トレーニングと推論のミスマッチを導入する。
現在のマルチビデオベンチマークでは、主にイベントレベルの比較を強調しており、アイデンティティレベルのマッチング、きめ細かい識別、構造化されたマルチステップ推論が過小評価されている。
視覚ツール,タスク固有のスキル,コンフリクト対応検証機構を統合した,多視点理解のためのスキル強化型エージェントフレームワークSAMAを提案する。
論文 参考訳（メタデータ） (2026-03-16T02:09:48Z) - SportR: A Benchmark for Multimodal Large Language Model Reasoning in Sports [21.410115837645318]
SportRは、スポーツインテリジェンスに必要な基本的な理由に基づいてMLLMを訓練し、評価するために設計された最初のマルチスポーツ大規模ベンチマークである。
私たちのベンチマークでは,5,017枚の画像と2,101本のビデオのデータセットが提供されている。
罰則の決定や戦術の説明など,多段階の推論を必要とする最も先進的なタスクに対して,我々は7,118の高品質な人間による思考の連鎖(Chain of Thought)アノテーションを提供する。
論文 参考訳（メタデータ） (2025-11-09T18:55:20Z) - An Empirical Study for Representations of Videos in Video Question Answering via MLLMs [4.726627693005334]
マルチモーダルな大言語モデルは近年,ビデオ質問応答において顕著な進歩を遂げている。
ビデオ表現がMLLMに最も有効なのか、また、異なるモダリティがタスクの精度と計算効率のバランスをとるのかは、まだ不明である。
論文 参考訳（メタデータ） (2025-10-14T09:02:22Z) - A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。
より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。
一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
論文 参考訳（メタデータ） (2025-08-07T08:52:11Z) - Enhancing Sports Strategy with Video Analytics and Data Mining: Assessing the effectiveness of Multimodal LLMs in tennis video analysis [0.0]
本研究の目的は,テニスビデオを中心に,スポーツビデオの分析におけるMLLMの有効性を評価することである。
テニス分析の研究にもかかわらず、テニス集会における出来事の順序を理解し、特定できるモデルにはギャップが残っている。
このギャップを埋める能力 - テニスのアクションを分類する能力 - と、集会での一連のテニスアクションでこれらのアクションを識別する能力について、MLLMを主に評価する。
論文 参考訳（メタデータ） (2025-06-24T06:08:35Z) - Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward [77.34936657745578]
本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。
本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
論文 参考訳（メタデータ） (2025-06-08T16:48:42Z) - MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。
AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。
提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-08T06:34:29Z) - Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs [41.072699990427374]
マルチビュー理解は、マルチモーダル大言語モデル(MLLM)において、エンボディエージェントとして使用されるための基本的な課題である。
我々は、90の現実世界のシーンに2,100人以上の注意深い注釈付き質問応答対のベンチマークであるAll-Angles Benchを提案する。
Gemini-2.0-Flash, Claude-3.7-Sonnet, GPT-4o など27のMLLMを人体評価器に対してベンチマークした結果, 性能差は顕著であった。
論文 参考訳（メタデータ） (2025-04-21T17:59:53Z) - VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。
本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。
我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
論文 参考訳（メタデータ） (2025-02-25T23:36:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。