論文の概要: ReferEverything: Towards Segmenting Everything We Can Speak of in Videos

• arxiv url: http://arxiv.org/abs/2410.23287v1
• Date: Wed, 30 Oct 2024 17:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:27:23.663576
• Title: ReferEverything: Towards Segmenting Everything We Can Speak of in Videos
• Title（参考訳）: ReferEverything: ビデオでできることをすべてセグメンテーションする
• Authors: Anurag Bagchi, Zhipeng Bao, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert,
• Abstract要約: 本稿では、自然言語で記述可能なビデオのセグメンテーションフレームワークREMを提案する。 提案手法は,インターネット規模のデータセット上での映像拡散モデルから学習した視覚表現に重きを置いている。
• 参考スコア（独自算出の注目度）: 42.88584315033116
• License:
• Abstract: We present REM, a framework for segmenting a wide range of concepts in video that can be described through natural language. Our method capitalizes on visual-language representations learned by video diffusion models on Internet-scale datasets. A key insight of our approach is preserving as much of the generative model's original representation as possible, while fine-tuning it on narrow-domain Referral Object Segmentation datasets. As a result, our framework can accurately segment and track rare and unseen objects, despite being trained on object masks from a limited set of categories. Additionally, it can generalize to non-object dynamic concepts, such as waves crashing in the ocean, as demonstrated in our newly introduced benchmark for Referral Video Process Segmentation (Ref-VPS). Our experiments show that REM performs on par with state-of-the-art approaches on in-domain datasets, like Ref-DAVIS, while outperforming them by up to twelve points in terms of region similarity on out-of-domain data, leveraging the power of Internet-scale pre-training.
• Abstract（参考訳）: 本稿では、自然言語で記述可能な、幅広い概念をビデオにセグメント化するためのフレームワークREMを提案する。 提案手法は,インターネット規模のデータセット上での映像拡散モデルから学習した視覚言語表現に便乗する。 このアプローチに関する重要な洞察は、生成モデルのオリジナルの表現の多くを可能な限り保存し、狭いドメインの参照オブジェクトセグメンテーションデータセットで微調整することです。 その結果、限られたカテゴリのオブジェクトマスクでトレーニングされているにもかかわらず、我々のフレームワークは、稀で見えないオブジェクトを正確にセグメンテーションし、追跡することができる。 さらに,新たに紹介したReferral Video Process Segmentation (Ref-VPS) ベンチマークで示すように,海中の波の衝突などの非対象動的概念を一般化することができる。 我々の実験によると、REMはRef-DAVISのようなドメイン内データセットに対する最先端のアプローチと同等に動作し、ドメイン外データに対する領域類似性の観点から最大12ポイントの性能を発揮し、インターネット規模の事前トレーニングのパワーを活用している。

関連論文リスト

• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Learning from SAM: Harnessing a Foundation Model for Sim2Real Adaptation by Regularization [17.531847357428454]
  ドメイン適応は特にロボティクスアプリケーションにおいて重要であり、ターゲットとなるドメイントレーニングデータは通常不足しており、アノテーションは入手するのにコストがかかる。 本稿では、アノテートされたソースドメインデータが利用可能なシナリオに対して、自己教師付きドメイン適応手法を提案する。 本手法は意味的セグメンテーションタスクを対象とし,セグメンテーション基盤モデル(セグメンテーション任意のモデル)を用いて無注釈データのセグメンテーション情報を取得する。
  論文  参考訳（メタデータ） (2023-09-27T10:37:36Z)
• Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
  深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。 複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。 標準的なビデオセグメンテーションベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:43Z)
• Human Instance Segmentation and Tracking via Data Association and Single-stage Detector [17.46922710432633]
  人間のビデオインスタンスのセグメンテーションは、人間の活動のコンピュータ理解において重要な役割を果たす。 現在のVISメソッドのほとんどはMask-RCNNフレームワークに基づいている。 単段検出器を用いた人間のビデオ・インスタンス・セグメンテーションのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-03-31T11:36:09Z)
• DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
  我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。 提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。 セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:05:13Z)
• Unsupervised Learning of Video Representations via Dense Trajectory Clustering [86.45054867170795]
  本稿では,ビデオにおける行動認識のための表現の教師なし学習の課題に対処する。 まず、このクラスの2つのトップパフォーマンス目標(インスタンス認識と局所集約)を適用することを提案する。 有望な性能を観察するが、定性的解析により、学習した表現が動きのパターンを捉えないことを示す。
  論文  参考訳（メタデータ） (2020-06-28T22:23:03Z)
• SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor [51.298760338410624]
  本研究では,グローバル情報の効果を高めるために,シーン認識型ガイダンスを付加するSceneEncoderモジュールを提案する。 モジュールはシーン記述子を予測し、シーンに存在するオブジェクトのカテゴリを表現することを学習する。 また,同じラベルを持つ隣接点に対する特徴の識別を伝搬する領域類似度損失を設計する。
  論文  参考訳（メタデータ） (2020-01-24T16:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。