論文の概要: EgoExo-Con: Exploring View-Invariant Video Temporal Understanding
- arxiv url: http://arxiv.org/abs/2510.26113v1
- Date: Thu, 30 Oct 2025 03:53:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.649615
- Title: EgoExo-Con: Exploring View-Invariant Video Temporal Understanding
- Title（参考訳）: EgoExo-Con: ビュー不変ビデオ時間理解の探求
- Abstract要約: Video-LLMは、ビデオが異なる視点から同じイベントをキャプチャしたとき、一貫した時間的理解を実現することができるか?
EgoExo-Con (Consistency) は、自然言語による人間精製クエリと総合的に同期されたエゴセントリックおよびエクソセントリックなビデオペアのベンチマークである。
ビュー固有の時間的推論を効果的に強化する新しい強化学習フレームワークであるView-GRPOを提案する。
- 参考スコア（独自算出の注目度）: 66.25513481642845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can Video-LLMs achieve consistent temporal understanding when videos capture the same event from different viewpoints? To study this, we introduce EgoExo-Con (Consistency), a benchmark of comprehensively synchronized egocentric and exocentric video pairs with human-refined queries in natural language. EgoExo-Con emphasizes two temporal understanding tasks: Temporal Verification and Temporal Grounding. It evaluates not only correctness but consistency across viewpoints. Our analysis reveals two critical limitations of existing Video-LLMs: (1) models often fail to maintain consistency, with results far worse than their single-view performances. (2) When naively finetuned with synchronized videos of both viewpoints, the models show improved consistency but often underperform those trained on a single view. For improvements, we propose View-GRPO, a novel reinforcement learning framework that effectively strengthens view-specific temporal reasoning while encouraging consistent comprehension across viewpoints. Our method demonstrates its superiority over naive SFT and GRPO, especially for improving cross-view consistency. All resources will be made publicly available.
- Abstract（参考訳）: Video-LLMは、ビデオが異なる視点から同じイベントをキャプチャしたとき、一貫した時間的理解を実現することができるか?
そこで本研究では,EgoExo-Con(Consistency)について紹介する。
EgoExo-Conは、時間的検証と時間的接地という2つの時間的理解課題を強調している。
正確性だけでなく、視点による一貫性も評価する。
1)モデルは一貫性の維持に失敗することが多く、その結果はシングルビューのパフォーマンスよりもはるかに悪い。
2) 両視点の同期映像を鼻で微調整すると, 整合性は向上するが, 一つの視点で訓練した映像を過小評価することが多い。
改良のために,ビュー固有の時間的推論を効果的に強化し,視点間の一貫した理解を促進する新しい強化学習フレームワークであるView-GRPOを提案する。
提案手法は, SFT や GRPO よりも優れていることを示す。
すべてのリソースが公開されます。
関連論文リスト
- Moving Beyond More Views: Redundancy-Aware Ego-Exo Fusion for Proficiency Estimation [12.151605559533337]
EgoExoの推定は、エゴセントリックな(一人称の)視点からのきめ細かい動きのキューと、複数のエゴセントリックな(3人称の)視点からの空間的コンテキストを統合することを目的としている。
マルチビュー冗長性 - データの観点からは、特定のビューは限定的あるいはノイズの多い情報を提供し、識別的手がかりを希釈する; オーバーフィッティング - 特徴の観点からは、従来の融合は表現の複雑さを増大させ、一般的な表現を学習するのではなく、ビュー固有のパターンを記憶させる。
論文 参考訳（メタデータ） (2026-08-26T12:47:42Z) - EvoVid: Temporal-Centric Self-Evolution for Video Large Language Models [44.97714162696323]
ビデオ大言語モデル(ビデオ-LLM)は、強化学習(RL)による映像推論において強力な能力を示した。
本稿では,ビデオLLMが生の無注釈ビデオから直接改善できる時間中心の自己進化フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-21T03:00:35Z) - EgoCoT-Bench: Benchmarking Grounded and Verifiable Operation-Centric Chain of Thought Reasoning for MLLMs [23.973683864983272]
EgoT-Benchは、接地的で検証可能な操作中心の推論のための微細なエゴセントリックなベンチマークである。
EgoT-Benchは、3,172対のQAペアを351対の自我中心の振り返りビデオで構成している。
論文 参考訳（メタデータ） (2026-05-19T09:02:20Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting [58.508924874097715]
VisonCoach は,(1) ビデオと質問に対して適切なプロンプト型を予測する Visual Prompt Selector と,(2) 視覚的プロンプトガイダンスとオブジェクトグラウンド報酬の下で RL で最適化された Spatio-Reasoner の2つのコンポーネントから構成される。
この結果から,トレーニング中の視覚的プロンプトが映像推論を改善するのに対し,注意散布センスは推論時にプロンプトを必要とせず,この能力を実現することが示唆された。
論文 参考訳（メタデータ） (2026-03-15T23:32:02Z) - Thinking in Frames: How Visual Context and Test-Time Scaling Empower Video Reasoning [38.651924340946785]
映像生成モデルを用いて視覚的推論を定式化する。
視覚変化の少ない連続的な離散計画のための迷路ナビゲーションと、高い視覚変化の連続的な操作のためのタングラムパズルの2つの異なる形態でそれらの能力を評価する。
論文 参考訳（メタデータ） (2026-01-28T20:57:55Z) - STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits [44.82339975771063]
STARCasterは、音声駆動のポートレートアニメーションとフリーポイントのトーキングポートレートの両方に対処する、アイデンティティを意識したビデオ拡散モデルである。
モデルは推論時に生成されたものよりも長い時間的文脈から学習し、既存の自己回帰的アプローチに共通する過度に静的なアニメーションを緩和する。
論文 参考訳（メタデータ） (2025-12-15T11:59:01Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳（メタデータ） (2025-11-28T18:59:58Z) - Video-LLMs with Temporal Visual Screening [59.18455762289321]
テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。
TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。
実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
論文 参考訳（メタデータ） (2025-08-27T14:33:32Z) - STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。
ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。
本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
論文 参考訳（メタデータ） (2024-11-29T11:54:55Z) - TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models [55.48403691519395]
トマト(Tomato)は、ビデオ理解におけるMFMの時間的推論能力を厳格に評価するための新しいベンチマークである。
TOMATOは、6つのタスクにまたがる1,484件の注意深いキュレーションと人間による注釈付き質問で構成されている。
総合評価の結果, 人体モデルの性能差は57.3%であり, 最良性能モデルでは57.3%であった。
論文 参考訳（メタデータ） (2024-10-30T17:50:23Z) - Do Egocentric Video-Language Models Truly Understand Hand-Object Interactions? [48.702973928321946]
Egocentric Video-Language Pretrainingは、一対一のシナリオにおける手動対話の理解を促進するための重要なステップである。
既存のテストベッドでの成功にもかかわらず、現在のEgoVLMは簡単な修正によって容易に誤認できることがわかった。
EgoVLMは手動オブジェクトの相互作用を本当に理解していますか?
論文 参考訳（メタデータ） (2024-05-28T00:27:29Z) - No More Shortcuts: Realizing the Potential of Temporal Self-Supervision [69.59938105887538]
本稿では、フレームレベルの認識タスクではなく、フレームレベルの認識タスクとして、時間的自己監督のより困難な再構築を提案する。
我々は、より困難なフレームレベルのタスクの定式化とショートカットの削除が、時間的自己監督によって学習された特徴の質を大幅に改善することを示した。
論文 参考訳（メタデータ） (2023-12-20T13:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。