論文の概要: MarineVRS: Marine Video Retrieval System with Explainability via
Semantic Understanding
- arxiv url: http://arxiv.org/abs/2306.04593v1
- Date: Wed, 7 Jun 2023 16:46:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 13:12:07.594234
- Title: MarineVRS: Marine Video Retrieval System with Explainability via
Semantic Understanding
- Title（参考訳）: marinevrs: 意味理解による説明可能な海中ビデオ検索システム
- Authors: Tan-Sang Ha, Hai Nguyen-Truong, Tuan-Anh Vu, Sai-Kit Yeung
- Abstract要約: MarineVRSは、海洋ドメイン用に明示的に設計された、新しく柔軟なビデオ検索システムである。
MarineVRSは、視覚的および言語的オブジェクト表現のための最先端の手法を統合し、大量の水中ビデオデータの効率的かつ正確な検索と分析を可能にする。
MarineVRSは、海洋研究者や科学者が大量のデータを効率的に正確に処理し、海洋生物の行動や動きについて深い洞察を得るための強力なツールである。
- 参考スコア（独自算出の注目度）: 11.878077736295863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building a video retrieval system that is robust and reliable, especially for
the marine environment, is a challenging task due to several factors such as
dealing with massive amounts of dense and repetitive data, occlusion,
blurriness, low lighting conditions, and abstract queries. To address these
challenges, we present MarineVRS, a novel and flexible video retrieval system
designed explicitly for the marine domain. MarineVRS integrates
state-of-the-art methods for visual and linguistic object representation to
enable efficient and accurate search and analysis of vast volumes of underwater
video data. In addition, unlike the conventional video retrieval system, which
only permits users to index a collection of images or videos and search using a
free-form natural language sentence, our retrieval system includes an
additional Explainability module that outputs the segmentation masks of the
objects that the input query referred to. This feature allows users to identify
and isolate specific objects in the video footage, leading to more detailed
analysis and understanding of their behavior and movements. Finally, with its
adaptability, explainability, accuracy, and scalability, MarineVRS is a
powerful tool for marine researchers and scientists to efficiently and
accurately process vast amounts of data and gain deeper insights into the
behavior and movements of marine species.
- Abstract（参考訳）: 特に海洋環境において、ロバストで信頼性の高い映像検索システムの構築は、大量の高密度かつ反復的なデータ、閉塞性、ぼやけ性、低い照明条件、抽象的なクエリを扱うなど、いくつかの要因により困難な課題である。
これらの課題に対処するために,海洋ドメイン用に設計された新鮮でフレキシブルなビデオ検索システムであるMarineVRSを提案する。
MarineVRSは、視覚的および言語的オブジェクト表現のための最先端の手法を統合し、大量の水中ビデオデータの効率的かつ正確な検索と分析を可能にする。
また,画像や動画の集合や検索を自然言語文でインデックス化できる従来のビデオ検索システムとは異なり,検索システムには,入力クエリが参照するオブジェクトのセグメンテーションマスクを出力するExplainabilityモジュールが付加されている。
この機能により、ユーザーはビデオ内の特定のオブジェクトを識別し、分離することができ、より詳細な分析と、彼らの行動や動きの理解に繋がる。
最後に、その適応性、説明可能性、精度、スケーラビリティによって、海洋研究者や科学者が大量のデータを効率的に正確に処理し、海洋種の行動や動きについて深い洞察を得るための強力なツールである。
関連論文リスト
- VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。
我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。
我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
論文 参考訳（メタデータ） (2024-06-14T17:59:01Z) - DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries [60.09774333024783]
動的アンカークエリ(DAQ)を導入し、アンカーとターゲットクエリ間の遷移ギャップを短くする。
また,クエリレベルのオブジェクトEmergence and Disappearance Simulation(EDS)戦略を導入する。
実験により、DVIS-DAQは5つの主流ビデオセグメンテーションベンチマーク上で、新しい最先端(SOTA)性能を達成することが示された。
論文 参考訳（メタデータ） (2024-03-29T17:58:50Z) - Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-12-18T18:59:51Z) - SeaDSC: A video-based unsupervised method for dynamic scene change
detection in unmanned surface vehicles [3.2716252389196288]
本稿では,無人表面車両(USV)の動的シーン変化を検出するためのアプローチについて概説する。
本研究の目的は,海中映像データのダイナミックなシーン,特に高い類似性を示すシーンに顕著な変化を見出すことである。
本研究では,動的シーン変化検出システムにおいて,教師なし学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-20T07:34:01Z) - Asynchronous Trajectory Matching-Based Multimodal Maritime Data Fusion
for Vessel Traffic Surveillance in Inland Waterways [12.7548343467665]
自動識別システム(AIS)とビデオカメラは、内陸水路における船舶の交通監視に広く利用されている。
本稿では,AIS ベースの容器情報と対応する視覚的目標とを融合させる,深層学習対応非同期軌道マッチング手法を提案する。
さらに,AISと映像に基づく動作特徴を組み合わせることで,より正確で堅牢な血管追跡結果を得るための知識駆動型抗閉塞法も提案する。
論文 参考訳（メタデータ） (2023-02-22T11:00:34Z) - Marine Video Kit: A New Marine Video Dataset for Content-based Analysis
and Retrieval [10.526705651297146]
本稿では,水中環境における移動カメラから撮影したワンショット映像に着目した。
新しいMarine Video Kitの最初のシャードは、ビデオ検索やその他のコンピュータビジョンの課題に役立ちます。
論文 参考訳（メタデータ） (2022-09-23T10:57:50Z) - Occluded Video Instance Segmentation: Dataset and ICCV 2021 Challenge [133.80567761430584]
我々はOVISと呼ばれる大規模データセットを収集し、隠されたシナリオでビデオインスタンスのセグメンテーションを行う。
OVISは296kの高品質のインスタンスマスクと901の隠蔽シーンで構成されている。
全てのベースライン法は、強吸収対象群で約80%の性能低下に遭遇する。
論文 参考訳（メタデータ） (2021-11-15T17:59:03Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-03T17:40:32Z) - FathomNet: A global underwater image training set for enabling
artificial intelligence in the ocean [0.0]
オーシャンゴープラットフォームは、監視とナビゲーションのために高解像度のカメラフィードを統合することで、視覚データを大量に生成している。
機械学習の最近の進歩は、視覚データの高速かつ洗練された分析を可能にするが、海洋学の世界では成功しなかった。
FathomNetのデータに基づいてトレーニングされた機械学習モデルを、さまざまな機関のビデオデータに適用する方法を実証する。
論文 参考訳（メタデータ） (2021-09-29T18:08:42Z) - Highlight Timestamp Detection Model for Comedy Videos via Multimodal
Sentiment Analysis [1.6181085766811525]
本研究では,この分野での最先端性能を得るためのマルチモーダル構造を提案する。
マルチモーダルビデオ理解のためのベンチマークをいくつか選択し、最適な性能を求めるのに最適なモデルを適用した。
論文 参考訳（メタデータ） (2021-05-28T08:39:19Z) - Movement Tracks for the Automatic Detection of Fish Behavior in Videos [63.85815474157357]
水中ビデオでサブルフィッシュ(Anoplopoma fimbria)の発芽行動のデータセットを提供し,その上での深層学習(DL)法による行動検出について検討した。
提案する検出システムは,Long Short-Term Memory(LSTM)ネットワークを用いて,サブルフィッシュの起動動作を識別する。
論文 参考訳（メタデータ） (2020-11-28T05:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。