論文の概要: Studying Image Diffusion Features for Zero-Shot Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2504.05468v1
• Date: Mon, 07 Apr 2025 19:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:30:05.672946
• Title: Studying Image Diffusion Features for Zero-Shot Video Object Segmentation
• Title（参考訳）: ゼロショット映像オブジェクトセグメンテーションのための画像拡散特性の検討
• Authors: Thanos Delatolas, Vicky Kalogeiton, Dim P. Papadopoulos,
• Abstract要約: 本稿では,Zero-Shot Video Object(ZS-VOS)における大規模拡散モデルの利用について検討する。 ImageNetでトレーニングされた拡散モデルは、ZS-VOSのためにトレーニングされたより大きな、より多様なデータセットよりも優れています。 われわれの手法は、高価な画像セグメンテーションデータセットで訓練されたモデルと同等に機能する。
• 参考スコア（独自算出の注目度）: 9.79891280451409
• License:
• Abstract: This paper investigates the use of large-scale diffusion models for Zero-Shot Video Object Segmentation (ZS-VOS) without fine-tuning on video data or training on any image segmentation data. While diffusion models have demonstrated strong visual representations across various tasks, their direct application to ZS-VOS remains underexplored. Our goal is to find the optimal feature extraction process for ZS-VOS by identifying the most suitable time step and layer from which to extract features. We further analyze the affinity of these features and observe a strong correlation with point correspondences. Through extensive experiments on DAVIS-17 and MOSE, we find that diffusion models trained on ImageNet outperform those trained on larger, more diverse datasets for ZS-VOS. Additionally, we highlight the importance of point correspondences in achieving high segmentation accuracy, and we yield state-of-the-art results in ZS-VOS. Finally, our approach performs on par with models trained on expensive image segmentation datasets.
• Abstract（参考訳）: 本稿では,ZES-VOS(Zero-Shot Video Object Segmentation)における大規模拡散モデルの使用について,ビデオデータや画像セグメンテーションデータのトレーニングを微調整することなく検討する。 拡散モデルは様々なタスクに対して強い視覚的表現を示してきたが、ZS-VOSへの直接的応用はいまだ研究されていない。 我々のゴールは、ZS-VOSの最適な特徴抽出プロセスを見つけることであり、そこから最も適切な時間ステップと層を特定し、特徴を抽出することである。 さらにこれらの特徴の親和性を分析し、点対応と強い相関関係を観察する。 DAVIS-17とMOSEに関する広範な実験により、ImageNetで訓練された拡散モデルは、ZS-VOSのために訓練されたより大きな、より多様なデータセットで訓練されたモデルよりも優れていることがわかった。 さらに,高いセグメンテーション精度を達成する上での点対応の重要性を強調し,ZS-VOSの最先端結果を得る。 最後に、当社の手法は、高価な画像セグメンテーションデータセットでトレーニングされたモデルと同等に機能する。

関連論文リスト

• High-Precision Dichotomous Image Segmentation via Probing Diffusion Capacity [69.32473738284374]
  拡散モデルは、例外的な品質、詳細な解像度、強い文脈認識を提供することによって、テキストと画像の合成に革命をもたらした。 本稿では,拡散モデルにおける事前学習されたU-Netのポテンシャルを利用する拡散駆動セグメンテーションモデルDiffDISを提案する。 DIS5Kデータセットの実験は、DiffDISの優位性を示し、合理化された推論プロセスを通じて最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-14T02:49:23Z)
• Deep learning for fast segmentation and critical dimension metrology & characterization enabling AR/VR design and fabrication [0.0]
  我々は,電子顕微鏡画像の多種多様なデータセットを用いて,事前訓練されたセグメンテーションモデル(SAM)の微調整について報告する。 低ランク適応(LoRA)のような手法を用いて、トレーニング時間を短縮し、ROI抽出の精度を高める。 モデルが見えない画像に一般化する能力はゼロショット学習を促進し、CD抽出モデルをサポートする。
  論文  参考訳（メタデータ） (2024-09-20T23:54:58Z)
• Zero-Shot Video Semantic Segmentation based on Pre-Trained Diffusion Models [96.97910688908956]
  本稿では,事前学習した拡散モデルに基づくビデオセマンティック(VSS)の最初のゼロショット手法を提案する。 予め訓練された画像とビデオ拡散モデルに基づくVSSに適したフレームワークを提案する。 実験により,提案手法は既存のゼロショット画像セマンティックセグメンテーション手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-27T08:39:38Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• An Advanced Features Extraction Module for Remote Sensing Image Super-Resolution [0.5461938536945723]
  チャネル・アンド・スペースアテンション特徴抽出(CSA-FE)と呼ばれる高度な特徴抽出モジュールを提案する。 提案手法は,高頻度情報を含む特定のチャネルや空間的位置に着目し,関連する特徴に焦点を合わせ,無関係な特徴を抑えるのに役立つ。 本モデルは,既存モデルと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-05-07T18:15:51Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
  本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。 スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
  論文  参考訳（メタデータ） (2024-03-12T00:02:03Z)
• Contrastive Multiview Coding with Electro-optics for SAR Semantic Segmentation [0.6445605125467573]
  SARセマンティックセグメンテーションのためのマルチモーダル表現学習を提案する。 従来の研究とは異なり,本手法ではEO画像,SAR画像,ラベルマスクを併用した。 いくつかの実験により,本手法はモデル性能,サンプル効率,収束速度において既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-31T23:55:41Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。