論文の概要: Temporal Collection and Distribution for Referring Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2309.03473v1
• Date: Thu, 7 Sep 2023 04:22:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 14:18:26.514054
• Title: Temporal Collection and Distribution for Referring Video Object Segmentation
• Title（参考訳）: ビデオオブジェクトセグメンテーション参照のための時間的収集と分布
• Authors: Jiajin Tang, Ge Zheng, Sibei Yang
• Abstract要約: ビデオオブジェクトのセグメンテーションの参照は、自然言語の表現に従って、ビデオシーケンス全体を通して参照をセグメンテーションすることを目的としている。 本稿では,グローバル参照トークンとオブジェクトクエリのシーケンスを同時に維持することを提案する。 提案手法は,すべてのベンチマークにおいて,最先端の手法よりも連続的に,著しく優れることを示す。
• 参考スコア（独自算出の注目度）: 14.886278504056063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring video object segmentation aims to segment a referent throughout a video sequence according to a natural language expression. It requires aligning the natural language expression with the objects' motions and their dynamic associations at the global video level but segmenting objects at the frame level. To achieve this goal, we propose to simultaneously maintain a global referent token and a sequence of object queries, where the former is responsible for capturing video-level referent according to the language expression, while the latter serves to better locate and segment objects with each frame. Furthermore, to explicitly capture object motions and spatial-temporal cross-modal reasoning over objects, we propose a novel temporal collection-distribution mechanism for interacting between the global referent token and object queries. Specifically, the temporal collection mechanism collects global information for the referent token from object queries to the temporal motions to the language expression. In turn, the temporal distribution first distributes the referent token to the referent sequence across all frames and then performs efficient cross-frame reasoning between the referent sequence and object queries in every frame. Experimental results show that our method outperforms state-of-the-art methods on all benchmarks consistently and significantly.
• Abstract（参考訳）: 参照ビデオオブジェクトのセグメンテーションは、自然言語表現に従ってビデオシーケンスを通して参照対象をセグメンテーションすることを目的としている。 自然言語表現とオブジェクトの動作と、その動的関連をグローバルビデオレベルで調整する必要があるが、フレームレベルでオブジェクトをセグメンテーションする必要がある。 この目的を達成するために,グローバルレファレントトークンとオブジェクトクエリのシーケンスを同時に保持し,前者が言語表現に従ってビデオレベルのレファレントをキャプチャすると同時に,後者が各フレームでのオブジェクトの配置とセグメンテーションを改善する役割を担っていることを提案する。 さらに,オブジェクト上でのオブジェクトの動きと空間的-時空間的クロスモーダル推論を明示的に捉えるために,グローバル参照トークンとオブジェクトクエリとのインタラクションのための新しい時間的コレクション分散機構を提案する。 具体的には、時間収集機構は、オブジェクトクエリから時間運動、言語表現に至るまで、参照トークンのグローバル情報を収集する。 時間分布は、まず、参照トークンを参照シーケンスに全フレームにわたって分散し、その後、参照シーケンスとオブジェクトクエリ間の効率的なクロスフレーム推論を行う。 実験結果から,本手法は全てのベンチマークにおける最先端の手法よりも連続的に,有意に優れていた。

関連論文リスト

• Instance-Aware Generalized Referring Expression Segmentation [32.96760407482406]
  InstAlignは、セグメンテーションプロセスにオブジェクトレベルの推論を組み込むメソッドである。 提案手法は最先端性能を著しく向上させ, 高精度かつ柔軟なGRESのための新しい標準を設定した。
  論文  参考訳（メタデータ） (2024-11-22T17:28:43Z)
• One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos [41.34787907803329]
  VideoLISAは、ビデオ内の言語命令による推論セグメンテーションの問題に対処するために設計された、ビデオベースのマルチモーダルな大規模言語モデルである。 VideoLISAは、言語命令に基づいてビデオ内に時間的に一貫したセグメンテーションマスクを生成する。
  論文  参考訳（メタデータ） (2024-09-29T07:47:15Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• SOC: Semantic-Assisted Object Cluster for Referring Video Object Segmentation [35.063881868130075]
  本稿では,映像レベルの視覚言語的アライメントを高めることによって,映像オブジェクトセグメンテーション(RVOS)について述べる。 本稿では,映像コンテンツとテキストガイダンスを集約したセマンティック支援オブジェクトクラスタ(SOC)を提案する。 我々は、人気のあるRVOSベンチマークで広範な実験を行い、我々の手法は、すべてのベンチマークにおける最先端の競合よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2023-05-26T15:13:44Z)
• Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
  深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。 複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。 標準的なビデオセグメンテーションベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:43Z)
• The Second Place Solution for The 4th Large-scale Video Object Segmentation Challenge--Track 3: Referring Video Object Segmentation [18.630453674396534]
  ReferFormerは、すべてのビデオフレームで言語表現によって参照される所定のビデオでオブジェクトインスタンスをセグメントすることを目的としている。 本研究は, 循環学習率, 半教師付きアプローチ, テスト時間拡張推論など, さらなる向上策を提案する。 改良されたReferFormerはCVPR2022 Referring Youtube-VOS Challengeで2位にランクインした。
  論文  参考訳（メタデータ） (2022-06-24T02:15:06Z)
• Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation [140.4291169276062]
  ビデオオブジェクトセグメンテーション(RVOS)は、ビデオオブジェクトを自然言語参照のガイダンスでセグメント化することを目的としている。 以前の手法では、画像格子上の言語参照を直接グラウンド化することで、RVOSに対処するのが一般的であった。 そこで本研究では,複数のサンプルフレームから検出されたオブジェクトマスクをビデオ全体へ伝播させることにより,オブジェクトトラッカーの徹底的なセットを構築した。 次に,Transformerベースのトラックレット言語基底モジュールを提案し,インスタンスレベルの視覚的関係とモーダル間相互作用を同時に,効率的にモデル化する。
  論文  参考訳（メタデータ） (2021-06-02T10:26:13Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)
• DORi: Discovering Object Relationship for Moment Localization of a Natural-Language Query in Video [98.54696229182335]
  本研究では,自然言語クエリを用いて,時間的モーメントローカライゼーションの課題について検討する。 私たちの重要なイノベーションは、言語で条件付きメッセージパッシングアルゴリズムを通じて、ビデオ機能の埋め込みを学ぶことです。 時間的なサブグラフは、時間を通してビデオ内のアクティビティをキャプチャする。
  論文  参考訳（メタデータ） (2020-10-13T09:50:29Z)
• Local-Global Video-Text Interactions for Temporal Grounding [77.5114709695216]
  本稿では,テキストクエリに関連するビデオの時間間隔を特定することを目的とした,テキスト間時間グラウンドリングの問題に対処する。 そこで本研究では,テキストクエリにおける意味句の中間レベルの特徴の集合を抽出する,新しい回帰モデルを用いてこの問題に対処する。 提案手法は,ローカルからグローバルへのコンテキスト情報を活用することにより,目標時間間隔を効果的に予測する。
  論文  参考訳（メタデータ） (2020-04-16T08:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。