論文の概要: Leveraging Vision-Language Models for Open-Vocabulary Instance Segmentation and Tracking

• arxiv url: http://arxiv.org/abs/2503.16538v1
• Date: Tue, 18 Mar 2025 20:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:55:47.418464
• Title: Leveraging Vision-Language Models for Open-Vocabulary Instance Segmentation and Tracking
• Title（参考訳）: Open-Vocabulary Instance Segmentation and Trackingのための視覚言語モデルの活用
• Authors: Bastian Pätzold, Jan Nogga, Sven Behnke,
• Abstract要約: 本稿では,視覚言語モデル(VLM)の機能を活用した新しいアプローチを提案する。 VLMの生成した構造化記述を用いて、可視オブジェクトのインスタンスを識別し、アプリケーション関連属性を収集し、開語彙検出器に通知し、対応するバウンディングボックスを抽出する。 新しい構造化された記述とそれに対応するオープン語彙検出を生成することで、トラックを必要に応じてオンラインで更新することができる。
• 参考スコア（独自算出の注目度）: 16.320467417627277
• License:
• Abstract: This paper introduces a novel approach that leverages the capabilities of vision-language models (VLMs) by integrating them with established approaches for open-vocabulary detection (OVD), instance segmentation, and tracking. We utilize VLM-generated structured descriptions to identify visible object instances, collect application-relevant attributes, and inform an open-vocabulary detector to extract corresponding bounding boxes that are passed to a video segmentation model providing precise segmentation masks and tracking capabilities. Once initialized, this model can then directly extract segmentation masks, allowing processing of image streams in real time with minimal computational overhead. Tracks can be updated online as needed by generating new structured descriptions and corresponding open-vocabulary detections. This combines the descriptive power of VLMs with the grounding capability of OVD and the pixel-level understanding and speed of video segmentation. Our evaluation across datasets and robotics platforms demonstrates the broad applicability of this approach, showcasing its ability to extract task-specific attributes from non-standard objects in dynamic environments.
• Abstract（参考訳）: 本稿では、オープン語彙検出(OVD)、インスタンスセグメンテーション、追跡のための確立されたアプローチと統合することで、視覚言語モデル(VLM)の能力を活用する新しいアプローチを提案する。 我々は、VLMの生成した構造化記述を用いて、可視オブジェクトのインスタンスを特定し、アプリケーション関連属性を収集し、オープン語彙検出器に通知し、正確なセグメンテーションマスクと追跡機能を備えたビデオセグメンテーションモデルに渡される対応するバウンディングボックスを抽出する。 初期化されると、このモデルはセグメント化マスクを直接抽出し、最小の計算オーバーヘッドでリアルタイムで画像ストリームを処理できる。 新しい構造化された記述とそれに対応するオープン語彙検出を生成することで、トラックを必要に応じてオンラインで更新することができる。 これは、VLMの記述力とOVDの接地能力と画素レベルの理解とビデオセグメンテーションの速度を組み合わせる。 動的環境における非標準オブジェクトからタスク固有の属性を抽出する能力を示す。

関連論文リスト

• Towards Open-Vocabulary Video Semantic Segmentation [40.58291642595943]
  オープン語彙ビデオセマンティック(OV-VSS: Open Vocabulary Video Semantic)タスクを導入する。 OV-VSSの性能を向上させるため,空間時間融合モジュールを統合したロバストベースラインOV2VSSを提案する。 我々のアプローチには、ビデオコンテキスト内のテキスト情報を解釈する能力を強化するビデオテキストエンコーディングも含まれている。
  論文  参考訳（メタデータ） (2024-12-12T14:53:16Z)
• Distilling Spectral Graph for Object-Context Aware Open-Vocabulary Semantic Segmentation [47.047267066525265]
  画像にオブジェクトレベルの文脈知識を取り入れた新しいアプローチを導入する。 提案手法は,多種多様なデータセットにまたがる高い一般化性を有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-26T06:34:48Z)
• ReferEverything: Towards Segmenting Everything We Can Speak of in Videos [42.88584315033116]
  本稿では、自然言語で記述可能なビデオのセグメンテーションフレームワークREMを提案する。 提案手法は,インターネット規模のデータセット上での映像拡散モデルから学習した視覚表現に重きを置いている。
  論文  参考訳（メタデータ） (2024-10-30T17:59:26Z)
• PIN: Positional Insert Unlocks Object Localisation Abilities in VLMs [55.8550939439138]
  VLM(Vision-Language Models)は、大きな言語モデルと視覚システムを統合することで、大きな可能性を秘めている。 これらのモデルは、主にキャプションを含むマルチモーダルデータに対するトレーニングのため、オブジェクトローカライゼーションの基本的なコンピュータビジョンタスクにおいて課題に直面している。 本稿では,空間的プロンプトであるPIN(Input-Agnostic Positional Insert)を導入する。 我々のPINモジュールは、新しい出力ヘッドを必要とせずに、合成データに対する単純な次トーケン予測タスクで訓練されている。
  論文  参考訳（メタデータ） (2024-02-13T18:39:18Z)
• LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors [58.75140338866403]
  DVDetはディスクリプタ強化オープン語彙検出器である。 局所埋め込みをイメージライクな表現に変換することで、一般的なオープンな語彙検出トレーニングに直接統合することができる。 複数の大規模ベンチマークに対する大規模な実験により、DVDetは最先端技術よりも大きなマージンで一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2024-02-07T07:26:49Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• Lidar Panoptic Segmentation and Tracking without Bells and Whistles [48.078270195629415]
  ライダーセグメンテーションと追跡のための検出中心ネットワークを提案する。 私たちのネットワークのコアコンポーネントの1つは、オブジェクトインスタンス検出ブランチです。 提案手法を複数の3D/4D LPSベンチマークで評価し,我々のモデルがオープンソースモデル間で新たな最先端性を確立することを確認した。
  論文  参考訳（メタデータ） (2023-10-19T04:44:43Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
  深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。 複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。 標準的なビデオセグメンテーションベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。