論文の概要: SegPrompt: Boosting Open-world Segmentation via Category-level Prompt Learning

• arxiv url: http://arxiv.org/abs/2308.06531v1
• Date: Sat, 12 Aug 2023 11:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 16:42:05.937936
• Title: SegPrompt: Boosting Open-world Segmentation via Category-level Prompt Learning
• Title（参考訳）: SegPrompt: カテゴリレベルのプロンプト学習によるオープンワールドセグメンテーションの促進
• Authors: Muzhi Zhu, Hengtao Li, Hao Chen, Chengxiang Fan, Weian Mao, Chenchen Jing, Yifan Liu, Chunhua Shen
• Abstract要約: オープンワールドインスタンスセグメンテーション(OWIS)モデルは、クラスに依存しない方法で未知のオブジェクトを検出する。 以前のOWISは、未知のオブジェクトに一般化するモデルの能力を維持するために、トレーニング中のカテゴリ情報を完全に消去するアプローチだった。 そこで本研究では,モデルのクラスに依存しないセグメンテーション能力を改善するためにカテゴリ情報を利用するSegPromptと呼ばれる新しいトレーニング機構を提案する。
• 参考スコア（独自算出の注目度）: 49.17344010035996
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current closed-set instance segmentation models rely on pre-defined class labels for each mask during training and evaluation, largely limiting their ability to detect novel objects. Open-world instance segmentation (OWIS) models address this challenge by detecting unknown objects in a class-agnostic manner. However, previous OWIS approaches completely erase category information during training to keep the model's ability to generalize to unknown objects. In this work, we propose a novel training mechanism termed SegPrompt that uses category information to improve the model's class-agnostic segmentation ability for both known and unknown categories. In addition, the previous OWIS training setting exposes the unknown classes to the training set and brings information leakage, which is unreasonable in the real world. Therefore, we provide a new open-world benchmark closer to a real-world scenario by dividing the dataset classes into known-seen-unseen parts. For the first time, we focus on the model's ability to discover objects that never appear in the training set images. Experiments show that SegPrompt can improve the overall and unseen detection performance by 5.6% and 6.1% in AR on our new benchmark without affecting the inference efficiency. We further demonstrate the effectiveness of our method on existing cross-dataset transfer and strongly supervised settings, leading to 5.5% and 12.3% relative improvement.
• Abstract（参考訳）: 現在のクローズドセットインスタンスセグメンテーションモデルは、トレーニングと評価の間、マスクごとに予め定義されたクラスラベルに依存している。 オープンワールドインスタンスセグメンテーション(OWIS)モデルは、クラスに依存しない方法で未知のオブジェクトを検出することでこの問題に対処する。 しかし、以前のOWISアプローチでは、モデルが未知のオブジェクトに一般化する能力を維持するために、トレーニング中のカテゴリ情報を完全に消去する。 本研究では,カテゴリ情報を用いて既知のカテゴリと未知カテゴリの両方に対して,モデルのクラス非依存なセグメンテーション能力を改善する,segpromptと呼ばれる新しいトレーニングメカニズムを提案する。 さらに、以前のowisトレーニング設定では、未知のクラスをトレーニングセットに公開し、実世界では不合理な情報漏洩を引き起こす。 そこで本研究では,データセットクラスを未知の部分に分割することで,実世界のシナリオに近い新しいオープンワールドベンチマークを提案する。 トレーニングセットのイメージに決して現れないオブジェクトを発見できるというモデルの能力に、私たちは初めて注目します。 実験によると、新しいベンチマークでは、SegPromptは推論効率に影響を与えることなく、全体の5.6%と6.1%のARで検出性能を改善できる。 さらに,既存のクロスデータセット転送と強い教師付き設定に対する提案手法の有効性を実証し,5.5%と12.3%の相対的改善を導いた。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Open-World Semantic Segmentation Including Class Similarity [31.799000996671975]
  本論文は, オープンワールドのセマンティックセマンティックセグメンテーション, すなわち, トレーニング中に未確認の物体を解釈する画像データの変種に対処する。 本稿では,クローズドワールドのセマンティックセグメンテーションを正確に行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T11:11:19Z)
• Debiased Novel Category Discovering and Localization [40.02326438622898]
  新たなクラスディスカバリー・ローカライゼーション(NCDL)の課題に焦点をあてる。 本稿では,クラス非依存領域提案ネットワーク(RPN)とクラス対応RPNを組み合わせたデバイアスドリージョンマイニング(DRM)手法を提案する。 我々はNCDLベンチマークで広範な実験を行い、提案手法が従来の手法よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-29T03:09:16Z)
• Incremental Object Detection with CLIP [36.478530086163744]
  そこで本研究では,CLIPなどの視覚言語モデルを用いて,異なるクラス集合に対するテキスト特徴埋め込みを生成する。 次に、段階的なシナリオをシミュレートするために、早期の学習段階において利用できない新しいクラスを置き換えるために、スーパークラスを使用します。 そこで我々は,この微妙に認識された検出ボックスを擬似アノテーションとしてトレーニングプロセスに組み込むことにより,検出性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-10-13T01:59:39Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• ElC-OIS: Ellipsoidal Clustering for Open-World Instance Segmentation on LiDAR Data [13.978966783993146]
  オープンワールドインスタンス(OIS)は、現在の観察に現れるすべてのオブジェクトインスタンスを正確に分割することを目的とした、難しいタスクである。 これは、堅牢な自律ナビゲーションのような安全クリティカルなアプリケーションにとって重要である。 我々は、LiDARポイントクラウドのための柔軟で効果的なOISフレームワークを提案し、既知のインスタンスと未知のインスタンスの両方を正確に分割できる。
  論文  参考訳（メタデータ） (2023-03-08T03:22:11Z)
• Open World DETR: Transformer based Open World Object Detection [60.64535309016623]
  そこで我々は,Deformable DETRに基づくオープンワールドオブジェクト検出のための2段階学習手法Open World DETRを提案する。 モデルのクラス固有のコンポーネントを多視点の自己ラベル戦略と一貫性制約で微調整する。 提案手法は、他の最先端のオープンワールドオブジェクト検出方法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-12-06T13:39:30Z)
• Novel Class Discovery in Semantic Segmentation [104.30729847367104]
  セマンティックにおける新しいクラス発見(NCDSS)について紹介する。 ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。 本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
  論文  参考訳（メタデータ） (2021-12-03T13:31:59Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。