論文の概要: VideoMind: An Omni-Modal Video Dataset with Intent Grounding for Deep-Cognitive Video Understanding

• arxiv url: http://arxiv.org/abs/2507.18552v1
• Date: Thu, 24 Jul 2025 16:19:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:44.115426
• Title: VideoMind: An Omni-Modal Video Dataset with Intent Grounding for Deep-Cognitive Video Understanding
• Title（参考訳）: VideoMind: 深層認識ビデオ理解のためのインテントグラウンド付きOmni-Modal Videoデータセット
• Authors: Baoyao Yang, Wanyun Li, Dixin Chen, Junxiang Chen, Wenbin Yao, Haifeng Lin,
• Abstract要約: VideoMindは、ディープビデオコンテンツ認識と強化されたマルチモーダル特徴表現のために設計されたビデオ中心のオムニモーダルデータセットである。 すべてのビデオとそのオーディオは、表面から深度まで進行する3つの階層層(事実、抽象、意図)にまたがって記述される。 VideoMindは、細粒度のクロスモーダルアライメントのための強力なベンチマークとして機能し、詳細なビデオ理解を必要とするフィールドを前進させる。
• 参考スコア（独自算出の注目度）: 9.93781167342781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces VideoMind, a video-centric omni-modal dataset designed for deep video content cognition and enhanced multi-modal feature representation. The dataset comprises 103K video samples (3K reserved for testing), each paired with audio and systematically detailed textual descriptions. Specifically, every video and its audio is described across three hierarchical layers (factual, abstract, and intent), progressing from surface to depth. It contains over 22 million words, averaging ~225 words per sample. VideoMind's key distinction from existing datasets is its provision of intent expressions, which require contextual integration across the entire video and are not directly observable. These deep-cognitive expressions are generated using a Chain-of-Thought (COT) approach, prompting the mLLM through step-by-step reasoning. Each description includes annotations for subject, place, time, event, action, and intent, supporting downstream recognition tasks. Crucially, we establish a gold-standard benchmark with 3,000 manually validated samples for evaluating deep-cognitive video understanding. We design hybrid-cognitive retrieval experiments, scored by multi-level retrieval metrics, to appropriately assess deep video comprehension. Evaluation results for models (e.g., InternVideo, VAST, UMT-L) are released. VideoMind serves as a powerful benchmark for fine-grained cross-modal alignment and advances fields requiring in-depth video understanding, such as emotion and intent recognition. The data is publicly available on GitHub, HuggingFace, and OpenDataLab, https://github.com/cdx-cindy/VideoMind.
• Abstract（参考訳）: 本稿では,ディープビデオコンテンツ認識とマルチモーダル特徴表現の強化を目的としたビデオ中心オムニモーダルデータセットであるVideoMindを紹介する。 データセットは103Kのビデオサンプル(テスト用に予約された3K)で構成され、それぞれにオーディオと体系的な詳細なテキスト記述をペアリングする。 具体的には、すべてのビデオとそのオーディオは、表面から深度まで進行する3つの階層層(事実、抽象、意図)にまたがって記述される。 2200万語以上の単語があり、平均して1サンプルあたり225語である。 VideoMindの既存のデータセットとの大きな違いは、意図表現の提供である。 これらの深い認知表現はChain-of-Thought(COT)アプローチで生成され、mLLMは段階的に推論される。 各記述には、主題、場所、時間、イベント、アクション、インテントのアノテーションが含まれ、下流の認識タスクをサポートする。 重要なことは、深い認知的ビデオ理解を評価するために、3000の検証済みサンプルを用いたゴールドスタンダードのベンチマークを確立することである。 深層映像の理解を適切に評価するために,多レベル検索指標によって得られたハイブリッド認知検索実験を設計する。 モデル(例えば、InternVideo、VAST、UTT-L)の評価結果がリリースされた。 VideoMindは、微粒なクロスモーダルアライメントのための強力なベンチマークとして機能し、感情や意図認識などの深いビデオ理解を必要とするフィールドを前進させる。 データはGitHub、HuggingFace、OpenDataLab、https://github.com/cdx-cindy/VideoMindで公開されている。

関連論文リスト

• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• OmniVid: A Generative Framework for Universal Video Understanding [133.73878582161387]
  我々は、言語をラベルとして使用し、時間とボックストークンを付加することで、ビデオ理解タスクの出力空間を統合することを目指している。 これにより、分類、キャプション、ローカライゼーションなど、さまざまなタイプのビデオタスクに対処できる。 このようなシンプルで素直なアイデアは極めて効果的であり、最先端ないし競争的な結果を得ることができることを実証する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:24Z)
• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• VideoPrism: A Foundational Visual Encoder for Video Understanding [90.01845485201746]
  VideoPrismは、単一の凍結モデルで多様なビデオ理解タスクに取り組む汎用ビデオエンコーダである。 我々は,36Mの高品質ビデオキャプチャ対と582Mの動画クリップを含む異種コーパス上で,VoicePrismを事前訓練した。 我々は、Webビデオ質問応答から科学用CVまで、ビデオ理解タスクの4つのグループでビデオPrismを広範囲にテストし、33の動画理解ベンチマークのうち31で最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-02-20T18:29:49Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• A Large Cross-Modal Video Retrieval Dataset with Reading Comprehension [49.74647080936875]
  テキスト読解機能を備えた大規模・クロスモーダルなビデオ検索データセットであるTextVRを紹介した。 提案したTextVRでは,テキストを認識し,理解し,視覚的コンテキストに関連づけ,ビデオ検索作業に不可欠なテキスト意味情報を決定するために,一種類のクロスモーダルモデルが必要である。
  論文  参考訳（メタデータ） (2023-05-05T08:00:14Z)
• Boosting Video Representation Learning with Multi-Faceted Integration [112.66127428372089]
  ビデオコンテンツは多面的であり、オブジェクト、シーン、インタラクション、アクションで構成されている。 既存のデータセットは、主にモデルトレーニングのファセットの1つだけをラベル付けする。 我々は,ビデオコンテンツの全スペクトルを反映した表現を学習するために,異なるデータセットから顔データを集約する,MUFI(MUlti-Faceted Integration)という新たな学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-11T16:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。