論文の概要: Segmenting Known Objects and Unseen Unknowns without Prior Knowledge

• arxiv url: http://arxiv.org/abs/2209.05407v3
• Date: Mon, 24 Jul 2023 17:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 00:49:47.042245
• Title: Segmenting Known Objects and Unseen Unknowns without Prior Knowledge
• Title（参考訳）: 未知の物体と未知の物体を事前知識なしで分割する
• Authors: Stefano Gasperini, Alvaro Marcos-Ramiro, Michael Schmidt, Nassir Navab, Benjamin Busam, Federico Tombari
• Abstract要約: 全体論的セグメンテーションは、見えない未知のカテゴリのオブジェクトをインスタンスに識別し、分離することを目的としている。 U3HSは未知の領域を極めて不確実な領域とみなす。 MS、Cityscapes、Lost&Foundの公開データに関する実験は、U3HSの有効性を実証している。
• 参考スコア（独自算出の注目度）: 79.49911355167367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic segmentation methods assign a known class to each pixel given in input. Even for state-of-the-art approaches, this inevitably enforces decisions that systematically lead to wrong predictions for objects outside the training categories. However, robustness against out-of-distribution samples and corner cases is crucial in safety-critical settings to avoid dangerous consequences. Since real-world datasets cannot contain enough data points to adequately sample the long tail of the underlying distribution, models must be able to deal with unseen and unknown scenarios as well. Previous methods targeted this by re-identifying already-seen unlabeled objects. In this work, we propose the necessary step to extend segmentation with a new setting which we term holistic segmentation. Holistic segmentation aims to identify and separate objects of unseen unknown categories into instances, without any prior knowledge about them, while performing panoptic segmentation of known classes. We tackle this new problem with U3HS, which finds unknowns as highly uncertain regions and clusters their corresponding instance-aware embeddings into individual objects. By doing so, for the first time in panoptic segmentation with unknown objects, our U3HS is trained without unknown categories, reducing assumptions and leaving the settings as unconstrained as in real-life scenarios. Extensive experiments on public data from MS COCO, Cityscapes, and Lost&Found demonstrate the effectiveness of U3HS for this new, challenging, and assumptions-free setting called holistic segmentation.
• Abstract（参考訳）: パノプティックセグメンテーション法は、入力された各ピクセルに既知のクラスを割り当てる。 最先端のアプローチであっても、これは必然的に、トレーニングカテゴリ外のオブジェクトの誤った予測につながる決定を強制する。 しかし, 危険を回避し, 安全クリティカルな環境では, 分散サンプルやコーナーケースに対するロバスト性が重要である。 実世界のデータセットは、基盤となるディストリビューションのロングテールを適切にサンプリングするために十分なデータポイントを格納できないため、モデルは、未知のシナリオにも対処できなければならない。 それまでの方法は、すでに表示されていない未表示のオブジェクトを再識別することであった。 本研究では,全体的セグメンテーションと呼ぶ新しいセグメンテーションでセグメンテーションを拡張するために必要なステップを提案する。 ホロスティックセグメンテーションは、未知のカテゴリのオブジェクトを事前の知識なしにインスタンスに識別し、分離することを目的としており、既知のクラスの単視セグメンテーションを実行する。 U3HSは未知を極めて不確実な領域として発見し、対応するインスタンス認識の埋め込みを個々のオブジェクトにクラスタ化する。 そうすることで、未知のオブジェクトでパンオプティカルセグメンテーションで初めて、我々のu3hsは未知のカテゴリなしでトレーニングされ、仮定を減少させ、実際のシナリオのように設定が訓練されていない状態になる。 MS COCO、Cityscapes、Lost&Foundの公開データに関する大規模な実験は、この新たな、挑戦的で仮定なしの設定に対してU3HSの有効性を実証している。

関連論文リスト

• Generalized Category Discovery in Semantic Segmentation [43.99230778597973]
  本稿では,セマンティックにおける一般化カテゴリー発見 (Generalized Category Discovery in Semantic, GCDSS) という新しい設定について検討する。 GCDSSは、ラベル付きベースクラスのセットから事前の知識に基づいてラベル付きイメージをセグメントすることを目的としている。 セマンティックにおける新規カテゴリー発見(NCDSS)とは対照的に、各未ラベル画像に少なくとも1つの新しいクラスが存在するという前提条件はない。
  論文  参考訳（メタデータ） (2023-11-20T04:11:16Z)
• SegPrompt: Boosting Open-world Segmentation via Category-level Prompt Learning [49.17344010035996]
  オープンワールドインスタンスセグメンテーション(OWIS)モデルは、クラスに依存しない方法で未知のオブジェクトを検出する。 以前のOWISは、未知のオブジェクトに一般化するモデルの能力を維持するために、トレーニング中のカテゴリ情報を完全に消去するアプローチだった。 そこで本研究では,モデルのクラスに依存しないセグメンテーション能力を改善するためにカテゴリ情報を利用するSegPromptと呼ばれる新しいトレーニング機構を提案する。
  論文  参考訳（メタデータ） (2023-08-12T11:25:39Z)
• ElC-OIS: Ellipsoidal Clustering for Open-World Instance Segmentation on LiDAR Data [13.978966783993146]
  オープンワールドインスタンス(OIS)は、現在の観察に現れるすべてのオブジェクトインスタンスを正確に分割することを目的とした、難しいタスクである。 これは、堅牢な自律ナビゲーションのような安全クリティカルなアプリケーションにとって重要である。 我々は、LiDARポイントクラウドのための柔軟で効果的なOISフレームワークを提案し、既知のインスタンスと未知のインスタンスの両方を正確に分割できる。
  論文  参考訳（メタデータ） (2023-03-08T03:22:11Z)
• FreeSOLO: Learning to Segment Objects without Annotations [191.82134817449528]
  我々は,単純なインスタンスセグメンテーションメソッドSOLO上に構築された自己教師型インスタンスセグメンテーションフレームワークであるFreeSOLOを紹介する。 また,本手法では,複雑なシーンからオブジェクトを教師なしで検出する,新たなローカライズ対応事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-24T16:31:44Z)
• Learning Open-World Object Proposals without Learning to Classify [110.30191531975804]
  本研究では,各領域の位置と形状がどの接地トラストオブジェクトとどのように重なり合うかによって,各領域の目的性を純粋に推定する,分類不要なオブジェクトローカライゼーションネットワークを提案する。 この単純な戦略は一般化可能な対象性を学び、クロスカテゴリの一般化に関する既存の提案より優れている。
  論文  参考訳（メタデータ） (2021-08-15T14:36:02Z)
• Video Class Agnostic Segmentation with Contrastive Learning for Autonomous Driving [13.312978643938202]
  既知のクラスと未知のオブジェクトのセグメンテーションを学ぶために,新しい補助的なコントラスト損失を提案する。 画像レベルでアンカー,ポジティブ,負の例をサンプリングするコントラスト学習の以前の研究とは異なり,コントラスト学習法はピクセル単位の意味的および時間的指導を活用している。 我々は、異なる未知のオブジェクトを含む異なる自律運転シナリオのための大規模な合成データセットをリリースする。
  論文  参考訳（メタデータ） (2021-05-07T23:07:06Z)
• SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation [111.61261419566908]
  ディープニューラルネットワーク(DNN)は通常、閉集合のセマンティッククラスで訓練される。 未発見のオブジェクトを扱うには不備だ。 このような物体の検出と局在化は、自動運転の認識などの安全クリティカルなアプリケーションに不可欠です。
  論文  参考訳（メタデータ） (2021-04-30T07:58:19Z)
• A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
  トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。 事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。 本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:34:33Z)
• LRGNet: Learnable Region Growing for Class-Agnostic Point Cloud Segmentation [19.915593390338337]
  本研究は,クラス非依存のクラウドセグメンテーションのための学習可能な領域成長手法を提案する。 提案手法は, 物体の形状や大きさを仮定することなく, 単一の深層ニューラルネットワークを用いて任意のクラスを分割することができる。
  論文  参考訳（メタデータ） (2021-03-16T15:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。