論文の概要: Minerva-Ego: Spatiotemporal Hints for Egocentric Video Understanding
- arxiv url: http://arxiv.org/abs/2605.15342v1
- Date: Thu, 14 May 2026 19:12:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 03:45:13.133674
- Title: Minerva-Ego: Spatiotemporal Hints for Egocentric Video Understanding
- Title（参考訳）: Minerva-Ego:エゴセントリックビデオ理解のための時空間ヒント
- Authors: Arsha Nagrani, Jasper Uijilings, Shyamal Buch, Tobias Weyand, Sudheendra Vijayanarasimhan, Bo Hu, Ramin Mehran, David A Ross, Cordelia Schmid,
- Abstract要約: Minerva-Egoは、エゴセントリックな視覚的推論を評価するためのベンチマークである。
ベンチマーク実験では、最先端のモデルには人間のパフォーマンスに大きなギャップがあることが示されている。
- 参考スコア（独自算出の注目度）: 54.691865975180576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video reasoning models are a core component of egocentric and embodied agents. However, standard benchmarks for assessing models provide only evaluation of the output (e.g. the answer to a question), without evaluation of intermediate reasoning steps, and most provide answers only in the text domain. We introduce Minerva-Ego, a benchmark for evaluating complex egocentric visual reasoning. We extend recent high-quality video data sources recorded from egocentric / embodied settings with a set of challenging, multi-step multimodal questions and spatiotemporally-dense human-annotated reasoning traces. Benchmarking experiments show that state-of-the-art models still have a large gap to human performance. To investigate this gap in detail, we annotate each reasoning trace in the dataset with the objects of interest required to solve the question, as spatiotemporal mask annotations. Through extensive evaluations, we identify that prompting frontier models with hints of 'where' and 'when' to look yields substantial improvements in performance. Minerva-Ego can be downloaded at https://github.com/google-deepmind/neptune.
- Abstract（参考訳）: ビデオ推論モデルは、エゴセントリックエージェントとエンボディエージェントのコアコンポーネントである。
しかしながら、モデルを評価するための標準ベンチマークは、中間的推論ステップを評価せずに、出力の評価(例えば、質問に対する回答)のみを提供し、ほとんどの場合、テキスト領域でのみ回答を提供する。
我々は複雑な自我中心の視覚的推論を評価するためのベンチマークであるMinerva-Egoを紹介する。
我々は、エゴセントリック/エンボディード設定から記録された最近の高品質なビデオデータソースを、困難で多段階のマルチモーダルな質問と時空間的な人間の注釈付き推論トレースによって拡張する。
ベンチマーク実験では、最先端のモデルには人間のパフォーマンスに大きなギャップがあることが示されている。
このギャップを詳細に調べるために、各推論トレースに、問題の解決に必要な関心の対象を、時空間マスクアノテーションとしてアノテートする。
広範囲な評価により,「場所」や「場所」をヒントとしたフロンティアモデルの実現により,性能が大幅に向上することが確認された。
Minerva-Egoはhttps://github.com/google-deepmind/neptune.comからダウンロードできる。
関連論文リスト
- Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision [22.502853661316028]
EgoPoint-Benchは、egocentric viewにおけるマルチモーダルポインティング推論の評価と強化を目的とした総合的な質問応答ベンチマークである。
合成データに微調整を施したモデルが,性能向上とロバストなsim-to-realの一般化を実現していることを示す。
この研究は、空間的に意識された監視の重要性を強調し、正確な自我中心のAIアシスタントへのスケーラブルなパスを提供する。
論文 参考訳（メタデータ） (2026-04-23T09:15:42Z) - EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。
EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
論文 参考訳（メタデータ） (2025-10-27T17:38:17Z) - Fine-grained Spatiotemporal Grounding on Egocentric Videos [13.319346673043286]
EgoMaskは、エゴセントリックビデオの微細時間グラウンド化のための最初のピクセルレベルのベンチマークである。
EgoMaskは、式やオブジェクトマスクを参照するアノテーションパイプラインによって構築されている。
また、モデル開発を容易にする大規模なトレーニングデータセットであるEgoMask-Trainも作成しています。
論文 参考訳（メタデータ） (2025-08-01T10:53:27Z) - MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。
我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。
我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
論文 参考訳（メタデータ） (2025-05-01T17:41:49Z) - Omnia de EgoTempo: Benchmarking Temporal Understanding of Multi-Modal LLMs in Egocentric Videos [51.8995932557911]
EgoTempoは、エゴセントリックドメインにおける時間的理解を評価するために設計されたデータセットである。
本稿では,ベンチマークにおける最先端のマルチモーダル言語モデル (MLLM) が,テキストやフレームのみを入力として,驚くほど高い性能を実現していることを示す。
EgoTempoがこの分野の新たな研究を触媒し、時間的ダイナミクスの複雑さをよりよく捉えたモデルに刺激を与えることを期待している。
論文 参考訳（メタデータ） (2025-03-17T18:50:36Z) - MM-Ego: Towards Building Egocentric Multimodal LLMs for Video QA [72.47344411599322]
本研究の目的は,エゴセントリックな映像理解のためのマルチモーダル基盤モデルの構築である。
Ego4Dでは,人間による注釈付きデータに基づいて,30秒から1時間に及ぶエゴセントリックビデオの高品質なQAサンプルを自動生成する。
我々は、629の動画と7,026の質問でエゴセントリックなQAベンチマークを作成し、様々な長さのビデオで視覚的詳細を認識・記憶するモデルの能力を評価する。
論文 参考訳（メタデータ） (2024-10-09T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。