Fugu-MT 論文翻訳(概要): Referred by Multi-Modality: A Unified Temporal Transformer for Video Object Segmentation

論文の概要: Referred by Multi-Modality: A Unified Temporal Transformer for Video Object Segmentation

arxiv url: http://arxiv.org/abs/2305.16318v2
Date: Tue, 12 Dec 2023 10:42:46 GMT
ステータス: 処理完了
システム内更新日: 2023-12-13 20:17:20.953766
Title: Referred by Multi-Modality: A Unified Temporal Transformer for Video Object Segmentation
Title（参考訳）: マルチモーダルによる参照:ビデオオブジェクトセグメンテーションのための統合時間変換器
Authors: Shilin Yan, Renrui Zhang, Ziyu Guo, Wenchao Chen, Wei Zhang, Hongyang Li, Yu Qiao, Hao Dong, Zhongjiang He, Peng Gao
Abstract要約: ビデオオブジェクトセグメンテーションの参照のためのマルチモーダル統一時間変換器を提案する。 MUTRは、初めて統合されたフレームワークにより、DETRスタイルのトランスフォーマーを採用し、テキストまたはオーディオ参照によって指定されたビデオオブジェクトをセグメント化することができる。変換器以降の高レベルの時間的相互作用に対して,異なるオブジェクト埋め込みのためのフレーム間特徴通信を行い,ビデオに沿って追跡するためのオブジェクトワイズ対応の改善に寄与する。
参考スコア（独自算出の注目度）: 54.58405154065508
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, video object segmentation (VOS) referred by multi-modal signals, e.g., language and audio, has evoked increasing attention in both industry and academia. It is challenging for exploring the semantic alignment within modalities and the visual correspondence across frames. However, existing methods adopt separate network architectures for different modalities, and neglect the inter-frame temporal interaction with references. In this paper, we propose MUTR, a Multi-modal Unified Temporal transformer for Referring video object segmentation. With a unified framework for the first time, MUTR adopts a DETR-style transformer and is capable of segmenting video objects designated by either text or audio reference. Specifically, we introduce two strategies to fully explore the temporal relations between videos and multi-modal signals. Firstly, for low-level temporal aggregation before the transformer, we enable the multi-modal references to capture multi-scale visual cues from consecutive video frames. This effectively endows the text or audio signals with temporal knowledge and boosts the semantic alignment between modalities. Secondly, for high-level temporal interaction after the transformer, we conduct inter-frame feature communication for different object embeddings, contributing to better object-wise correspondence for tracking along the video. On Ref-YouTube-VOS and AVSBench datasets with respective text and audio references, MUTR achieves +4.2% and +8.7% J&F improvements to state-of-the-art methods, demonstrating our significance for unified multi-modal VOS. Code is released at https://github.com/OpenGVLab/MUTR.
Abstract（参考訳）: 近年,言語や音声などのマルチモーダル信号によって参照されるビデオオブジェクトセグメンテーション (VOS) が,産業と学界の両方で注目を集めている。モダリティ内の意味的アライメントとフレーム間の視覚的対応を探索することは困難である。しかし、既存の手法では異なるモダリティに対して別々のネットワークアーキテクチャを採用し、参照とのフレーム間の時間的相互作用を無視している。本稿では,ビデオオブジェクトセグメンテーション参照のためのマルチモーダル統一時間変換器MUTRを提案する。初めて統一されたフレームワークで、mutrはdetrスタイルのトランスフォーマーを採用し、テキストまたはオーディオ参照で指定されたビデオオブジェクトをセグメンテーションすることができる。具体的には,ビデオとマルチモーダル信号の時間的関係を解明する2つの戦略を提案する。まず,トランスフォーマー前の低レベルの時間的アグリゲーションでは,マルチモーダル参照が連続するビデオフレームから多次元の視覚的手がかりをキャプチャできる。これにより、テキストまたは音声信号を時間的知識で効果的に内包し、モダリティ間の意味的アライメントを促進する。第2に,トランスフォーマの後の高レベルな時間的相互作用に対して,異なる物体埋め込みに対してフレーム間特徴コミュニケーションを行い,映像に沿って追従するためのオブジェクト間対応の改善に寄与する。 Ref-YouTube-VOS と AVSBench の各テキストおよびオーディオ参照のデータセットでは、MUTR は、最先端のメソッドに対する +4.2% と +8.7% の J&F の改善を達成した。コードはhttps://github.com/OpenGVLab/MUTRで公開されている。

関連論文リスト

VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。 VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。 VidVRDのワンステージモデルであるVrdONEを提案する。
論文参考訳（メタデータ） (2024-08-18T08:38:20Z)
Multi-entity Video Transformers for Fine-Grained Video Representation Learning [36.31020249963468]
ビデオ表現学習のためのトランスフォーマーアーキテクチャの設計を再検討する。我々の自己監督手法の健全な側面は、時間的パイプラインにおける空間情報の統合の改善である。我々のMV-Former(Multi-entity Video Transformer)アーキテクチャは、複数のきめ細かいビデオベンチマークで最先端の結果を得る。
論文参考訳（メタデータ） (2023-11-17T21:23:12Z)
Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
本稿では,時間文グラウンドリングのマルチメディア問題について検討する。与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
論文参考訳（メタデータ） (2022-08-31T14:16:56Z)
Deeply Interleaved Two-Stream Encoder for Referring Video Segmentation [87.49579477873196]
まず,CNNに基づく視覚特徴とトランスフォーマーに基づく言語特徴を階層的に抽出する2ストリームエンコーダを設計する。視覚言語相互誘導(VLMG)モジュールをエンコーダに複数回挿入し,多モード特徴の階層的および進行的融合を促進する。フレーム間の時間的アライメントを促進するために,言語誘導型マルチスケール動的フィルタリング(LMDF)モジュールを提案する。
論文参考訳（メタデータ） (2022-03-30T01:06:13Z)
Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
論文参考訳（メタデータ） (2022-03-29T05:52:23Z)
Temporal Pyramid Transformer with Multimodal Interaction for Video Question Answering [13.805714443766236]
ビデオ質問応答(VideoQA)は、視覚的理解と自然言語理解のマルチモーダルな組み合わせを考えると困難である。本稿では,ビデオQAのためのマルチモーダルインタラクションを備えた時間ピラミッド変換器(TPT)モデルを提案する。
論文参考訳（メタデータ） (2021-09-10T08:31:58Z)
Improving Video Instance Segmentation via Temporal Pyramid Routing [61.10753640148878]
Video Instance(VIS)は、ビデオシーケンス内の各インスタンスを検出し、セグメンテーションし、追跡することを目的とした、新しい、本質的にはマルチタスク問題である。隣接する2つのフレームからなる特徴ピラミッド対から画素レベルのアグリゲーションを条件付きで調整し,実行するための時間ピラミッドルーティング(TPR)戦略を提案する。我々のアプローチはプラグイン・アンド・プレイモジュールであり、既存のインスタンス・セグメンテーション・メソッドにも容易に適用できます。
論文参考訳（メタデータ） (2021-07-28T03:57:12Z)
TransVOS: Video Object Segmentation with Transformers [13.311777431243296]
本研究では,時間的・空間的関係をフル活用し,モデル化する視覚変換器を提案する。人気のある2エンコーダパイプラインをスリム化するために,単一の2パス特徴抽出器を設計する。実験では、DAVISとYouTube-VOSのデータセットにおける最先端の手法よりもTransVOSの方が優れていることを示した。
論文参考訳（メタデータ） (2021-06-01T15:56:10Z)
HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
論文参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。