論文の概要: When SAM2 Meets Video Shadow and Mirror Detection

• arxiv url: http://arxiv.org/abs/2412.19293v1
• Date: Thu, 26 Dec 2024 17:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:26:23.528534
• Title: When SAM2 Meets Video Shadow and Mirror Detection
• Title（参考訳）: SAM2がビデオシャドウとミラー検出に出会ったとき
• Authors: Leiping Jie,
• Abstract要約: 本研究では,3つのビデオセグメンテーションにおけるセグメンテーションモデル2(SAM2)の有効性を評価する。 具体的には、地上の真理点またはマスクプロンプトを用いて、最初のフレームを初期化し、その後のフレームに対応するマスクを予測する。 実験の結果,特にポイントプロンプトを用いた場合,SAM2の性能は最適以下であることが示唆された。
• 参考スコア（独自算出の注目度）: 3.3993877661368757
• License:
• Abstract: As the successor to the Segment Anything Model (SAM), the Segment Anything Model 2 (SAM2) not only improves performance in image segmentation but also extends its capabilities to video segmentation. However, its effectiveness in segmenting rare objects that seldom appear in videos remains underexplored. In this study, we evaluate SAM2 on three distinct video segmentation tasks: Video Shadow Detection (VSD) and Video Mirror Detection (VMD). Specifically, we use ground truth point or mask prompts to initialize the first frame and then predict corresponding masks for subsequent frames. Experimental results show that SAM2's performance on these tasks is suboptimal, especially when point prompts are used, both quantitatively and qualitatively. Code is available at \url{https://github.com/LeipingJie/SAM2Video}
• Abstract（参考訳）: Segment Anything Model (SAM)の後継として、Segment Anything Model 2 (SAM2)は画像セグメンテーションのパフォーマンスを向上するだけでなく、ビデオセグメンテーションにも拡張する。 しかし、ビデオにはほとんど現れない稀な物体を分割する効果は、まだ未解明のままである。 本研究では,ビデオシャドウ検出(VSD)とビデオミラー検出(VMD)の3つの異なるビデオセグメンテーションタスクにおいてSAM2を評価する。 具体的には、地上の真理点やマスクプロンプトを用いて、最初のフレームを初期化し、その後のフレームに対応するマスクを予測する。 実験結果から,SAM2の処理性能は,特にポイントプロンプトを用いた場合,定量的にも定性的にも最適であることがわかった。 コードは \url{https://github.com/LeipingJie/SAM2Video} で入手できる。

関連論文リスト

• SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree [79.26409013413003]
  SAM2Longは、トレーニング不要のビデオオブジェクトセグメンテーションを改良した手法である。 各フレーム内のセグメンテーションの不確実性を考慮し、複数のセグメンテーション経路からビデオレベルの最適結果を選択する。 SAM2Longは、24の頭対頭比較で平均3.0点の改善を実現している。
  論文  参考訳（メタデータ） (2024-10-21T17:59:19Z)
• When SAM2 Meets Video Camouflaged Object Segmentation: A Comprehensive Evaluation and Adaptation [36.174458990817165]
  本研究では,ビデオキャモフラージュオブジェクトセグメンテーション(VCOS)におけるSegment Anything Model 2(SAM2)の適用と性能について検討する。 VCOSは、似たような色やテクスチャ、照明条件の悪さなどにより、ビデオの周囲にシームレスにブレンドされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2024-09-27T11:35:50Z)
• SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
  我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。 本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-16T17:55:38Z)
• Moving Object Segmentation: All You Need Is SAM (and Flow) [82.78026782967959]
  SAMのセグメンテーション能力と移動物体の発見・グループ化能力を利用する光フローとSAMを組み合わせた2つのモデルについて検討する。 第1のモデルでは、RGBではなく光の流れを入力としてSAMに適応させ、第2のモデルではRGBを入力として、フローをセグメント化プロンプトとして使用する。 これらの驚くほど単純な方法は、追加の修正なしに、シングルオブジェクトとマルチオブジェクトのベンチマークにおいて、以前のアプローチをかなり上回っている。
  論文  参考訳（メタデータ） (2024-04-18T17:59:53Z)
• RAP-SAM: Towards Real-Time All-Purpose Segment Anything [120.17175256421622]
  Segment Anything Model (SAM) は、一般化されたセグメンテーションを実現するための注目すべきモデルである。 現在のリアルタイムセグメンテーションは、主に運転シーンのセグメンテーションのような1つの目的を持っている。 本研究は、リアルタイムデプロイメントにおけるVFMの転送を実現するために、リアルタイムに全目的セグメンテーションと呼ばれる新しいリアルタイムセグメンテーション設定を提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:59:30Z)
• AdapterShadow: Adapting Segment Anything Model for Shadow Detection [6.201928340999525]
  Segment Any Model (SAM)は、ユニバーサルオブジェクトのセグメンテーションにおいて、その壮大なパフォーマンスを示している。 しかし、医用画像の影画像や病変など特定のターゲットを特定できない。 影検出にSAMモデルを適用するAdapterShadowを提案する。
  論文  参考訳（メタデータ） (2023-11-15T11:51:10Z)
• Propagating Semantic Labels in Video Data [0.0]
  本研究では,映像中のオブジェクトのセグメンテーションを行う手法を提案する。 ビデオのフレームでオブジェクトが見つかると、セグメントは将来のフレームに伝達される。 この方法はSAMとStructure from Motionを組み合わせることで機能する。
  論文  参考訳（メタデータ） (2023-10-01T20:32:26Z)
• Segment Anything Meets Point Tracking [116.44931239508578]
  本稿では,SAMと長期点追跡を併用した,ポイント中心の対話型ビデオセグメンテーションの新たな手法を提案する。 ゼロショットオープンワールドUnidentified Video Objects(UVO)ベンチマークで直接評価することで,ポイントベーストラッキングのメリットを強調した。 DAVIS, YouTube-VOS, BDD100Kなどの人気ビデオオブジェクトのセグメンテーションと多目的セグメンテーションのベンチマーク実験により, ポイントベースセグメンテーショントラッカーがより優れたゼロショット性能と効率的なインタラクションをもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-07-03T17:58:01Z)
• Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion [92.80981308407098]
  本稿では,動きに基づくセグメンテーションと外観に基づくセグメンテーションの強みを組み合わせたアプローチを提案する。 本稿では、画像分割ネットワークを監督し、単純な動きパターンを含む可能性のある領域を予測することを提案する。 教師なしのビデオセグメンテーションモードでは、ネットワークは、学習プロセス自体をこれらのビデオをセグメンテーションするアルゴリズムとして使用して、ラベルのないビデオの集合に基づいて訓練される。
  論文  参考訳（メタデータ） (2022-05-16T17:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。