論文の概要: MarineLife-16K: An Attribute-Rich Video-Text Dataset for Motion-Aware Marine Video Understanding
- arxiv url: http://arxiv.org/abs/2610.33478v2
- Date: Thu, 29 Oct 2026 01:52:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-30 22:39:27.487253
- Title: MarineLife-16K: An Attribute-Rich Video-Text Dataset for Motion-Aware Marine Video Understanding
- Title（参考訳）: MarineLife-16K:Motion-Aware Marine Video Understandingのための属性リッチビデオテキストデータセット
- Abstract要約: 海洋環境に合わせたリッチで広義の視覚特性を特徴とする大規模ビデオテキストデータセットを提案する。
データセットは2000の動画テキスト対からなり,13の属性がシーン毎に最大4つのオブジェクトをカバーしている。
我々は、ビデオ質問応答とビデオキャプションタスクにおいて、プロプライエタリおよびオープンソースのビデオ-LLMモデルの両方をベンチマークする。
- 参考スコア（独自算出の注目度）: 34.56632884797179
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Marine video understanding is crucial for a wide range of real-world applications. However, existing marine video datasets suffer from limitations, including the limited number of data samples, fine-grained text descriptions, and detailed visual attributes. To address these limitations, we introduce a large-scale, video-text dataset featuring rich, in-the-wild visual attributes tailored for complex marine environments. Our dataset comprises 2,000 video-text pairs annotated with 13 attributes covering up to four objects per scene, object visual/geometric properties, behaviors, environmental context, and camera motion, spanning diverse lighting conditions, times of day, and 7 countries. From these annotations, we generate 16,080 video-question pairs (12,080 multiple-choice, 4,000 open-ended). Furthermore, we benchmark both proprietary and open-source video-LLM models on video question answering and video captioning tasks. We find that (i) proprietary models often achieves superior performances; (ii) VLMs handle object motion well but struggle with complex camera motion; (iii) closed-source models struggle to perceive camera motion; and (iv) VLMs struggle to reason in static cameras.
- Abstract（参考訳）: 海洋ビデオの理解は、さまざまな現実世界のアプリケーションに欠かせない。
しかし、既存の海洋ビデオデータセットは、限られた数のデータサンプル、きめ細かいテキスト記述、詳細な視覚属性など、制限に悩まされている。
これらの制約に対処するため、複雑な海洋環境に適したリッチで幅の広い視覚特性を備えた大規模ビデオテキストデータセットを導入している。
本データセットは,1シーンあたりの最大4つのオブジェクト,物体の視覚的・幾何学的特性,行動,環境状況,カメラの動き,および,様々な照明条件,日時,7ヶ国にまたがる7つの属性を付加した2000の動画テキスト対からなる。
これらのアノテーションから、16,080の動画検索ペア(12,080の多重選択、4000のオープンエンド)を生成します。
さらに,ビデオ質問応答とビデオキャプションタスクにおいて,プロプライエタリおよびオープンソースの両方のLLMモデルをベンチマークする。
私たちはそれを見つける。
(i)プロプライエタリなモデルは、しばしば優れたパフォーマンスを達成する。
(II)VLMは物体の動きをうまく扱うが、複雑なカメラの動きに苦労する。
三 クローズドソースモデルは、カメラの動きを知覚するのに苦労する
(4)VLMは静止カメラで推論するのに苦労する。
関連論文リスト
- MotionAtlas: Detailed Region Captioning for Motion-Centric Videos [32.07943965658894]
MotionAtlasは、モーション中心のビデオのキャプションシステムである。
ターゲット領域内の運動の正確な記述を生成する。
MotionAtlas-4BはQwen3-VL-4Bを平均5.2ポイント上回る。
論文 参考訳（メタデータ） (2026-06-28T17:54:55Z) - MeViS: A Multi-Modal Dataset for Referring Motion Expression Video Segmentation [126.77662882743168]
テキストと音声の両方に33,072人の注釈付き動作表現を含むデータセットであるMeViSを紹介する。
MeViSがサポートする4つのタスクにまたがる15の既存メソッドをベンチマークする。
本稿では,RVOS/AVOS/RMOTに対するLMPM++のアプローチを提案する。
論文 参考訳（メタデータ） (2025-12-11T18:59:44Z) - SpatialVID: A Large-Scale Video Dataset with Spatial Annotations [58.01259302233675]
SpaceVIDは、さまざまなシーン、カメラの動き、フレームごとのカメラポーズ、奥行き、動き指示などの密集した3Dアノテーションを備えた、Wildのビデオのデータセットである。
21,000時間以上の生のビデオを収集し、階層的なフィルタリングパイプラインを通して270万のクリップに処理します。
その後のアノテーションパイプラインは、カメラポーズ、深度マップ、ダイナミックマスク、構造化キャプション、シリアライズされたモーションインストラクションなど、これらのクリップを詳細な空間的および意味的な情報で強化する。
論文 参考訳（メタデータ） (2025-09-11T17:59:31Z) - MSC: A Marine Wildlife Video Dataset with Grounded Segmentation and Clip-Level Captioning [16.858769096087297]
海洋ビデオは、ビデオ理解にとって重要な課題である。
既存のビデオキャプションデータセットは、しばしば海洋環境の複雑さを一般化するのに失敗する。
本稿では,2段階の海洋オブジェクト指向ビデオキャプションパイプラインを提案する。
論文 参考訳（メタデータ） (2025-08-06T15:34:24Z) - SAMA: Towards Multi-Turn Referential Grounded Video Chat with Large Language Models [93.73583158211115]
ビデオにおけるきめ細かい時間的理解の獲得は、現在のビデオ大マルチモデル(ビデオLMM)にとって大きな課題である。
私たちは、データセット、モデル、ベンチマークの3つの中核的な側面に貢献しています。
まず,ビデオ理解,グラウンドニング,マルチターンビデオチャットの共用学習を実現するため、15Kビデオからなる大規模データセットであるSAMA-239Kを紹介する。
第2に,広義の時間的コンテキストアグリゲータとセグメンションモデルを組み合わせたSAMAモデルを提案する。
論文 参考訳（メタデータ） (2025-05-24T18:13:16Z) - AUTV: Creating Underwater Video Datasets with Pixel-wise Annotations [27.609227883183713]
AUTVは,海洋ビデオデータをピクセル単位のアノテーションで合成するフレームワークである。
2つのビデオデータセットを構築することで、このフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2025-03-17T05:18:20Z) - VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding [15.959757105308238]
ビデオLMMは、視覚入力を処理するために、画像エンコーダまたはビデオエンコーダに依存しており、それぞれに独自の制限がある。
本稿では,映像エンコーダと映像エンコーダの相補的利点(大域的時間文脈モデリング)を組み合わせたビデオGPT+を紹介する。
本稿では,VCGBench,MVBench,Zero-shotなど,複数のビデオベンチマークのパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-06-13T17:59:59Z) - VideoPrism: A Foundational Visual Encoder for Video Understanding [90.01845485201746]
VideoPrismは、単一の凍結モデルで多様なビデオ理解タスクに取り組む汎用ビデオエンコーダである。
我々は,36Mの高品質ビデオキャプチャ対と582Mの動画クリップを含む異種コーパス上で,VoicePrismを事前訓練した。
我々は、Webビデオ質問応答から科学用CVまで、ビデオ理解タスクの4つのグループでビデオPrismを広範囲にテストし、33の動画理解ベンチマークのうち31で最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-02-20T18:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。