論文の概要: Open-World Panoptic Segmentation

• arxiv url: http://arxiv.org/abs/2412.12740v1
• Date: Tue, 17 Dec 2024 10:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:31.343881
• Title: Open-World Panoptic Segmentation
• Title（参考訳）: オープンワールド・パノプティクス・セグメンテーション
• Authors: Matteo Sodano, Federico Magistri, Jens Behley, Cyrill Stachniss,
• Abstract要約: オープンワールド・パノプティクス・セグメンテーションのためのアプローチであるCon2MAVを提案する。 本研究では,オープンワールドセグメンテーションタスクにおける最先端の成果が得られたことを示す。 また、自律運転シナリオにおけるオープンワールド・パン光学セグメンテーションを評価するためのベンチマークであるPANICを提案する。
• 参考スコア（独自算出の注目度）: 31.799000996671975
• License:
• Abstract: Perception is a key building block of autonomously acting vision systems such as autonomous vehicles. It is crucial that these systems are able to understand their surroundings in order to operate safely and robustly. Additionally, autonomous systems deployed in unconstrained real-world scenarios must be able of dealing with novel situations and object that have never been seen before. In this article, we tackle the problem of open-world panoptic segmentation, i.e., the task of discovering new semantic categories and new object instances at test time, while enforcing consistency among the categories that we incrementally discover. We propose Con2MAV, an approach for open-world panoptic segmentation that extends our previous work, ContMAV, which was developed for open-world semantic segmentation. Through extensive experiments across multiple datasets, we show that our model achieves state-of-the-art results on open-world segmentation tasks, while still performing competitively on the known categories. We will open-source our implementation upon acceptance. Additionally, we propose PANIC (Panoptic ANomalies In Context), a benchmark for evaluating open-world panoptic segmentation in autonomous driving scenarios. This dataset, recorded with a multi-modal sensor suite mounted on a car, provides high-quality, pixel-wise annotations of anomalous objects at both semantic and instance level. Our dataset contains 800 images, with more than 50 unknown classes, i.e., classes that do not appear in the training set, and 4000 object instances, making it an extremely challenging dataset for open-world segmentation tasks in the autonomous driving scenario. We provide competitions for multiple open-world tasks on a hidden test set. Our dataset and competitions are available at https://www.ipb.uni-bonn.de/data/panic.
• Abstract（参考訳）: 知覚は、自動運転車のような自律的に行動する視覚システムの重要な構成要素である。 これらのシステムは、安全かつ堅牢に運用するために、周囲を理解できることが不可欠である。 さらに、制約のない現実のシナリオにデプロイされた自律システムは、これまで見たことのない新しい状況やオブジェクトを扱うことができる必要があります。 本稿では,オープンワールドの汎視的セグメンテーション,すなわち,テスト時に新しいセマンティックなカテゴリや新しいオブジェクトのインスタンスを発見するタスクに,段階的に発見するカテゴリ間の一貫性を強制する課題に取り組む。 本研究では,オープンワールドセマンティックセマンティックセマンティクスのためのContMAVを提案する。 複数のデータセットにわたる広範な実験を通して、我々のモデルは、既知のカテゴリで競争力を維持しながら、オープンワールドセグメンテーションタスクにおける最先端の結果を達成することを示す。 私たちは受け入れに応じて実装をオープンソースにします。 さらに、自律運転シナリオにおけるオープンワールド・パン光学セグメンテーションを評価するベンチマークであるPANIC(Panoptic Anomalies In Context)を提案する。 このデータセットは、車に搭載されたマルチモーダルセンサースイートで記録され、セマンティクスとインスタンスレベルの両方で、異常オブジェクトの高品質でピクセルワイズなアノテーションを提供する。 私たちのデータセットには800の画像が含まれており、50以上の未知のクラス、すなわちトレーニングセットに現れないクラス、4000のオブジェクトインスタンスがあり、自律運転シナリオにおけるオープンワールドセグメンテーションタスクの極めて難しいデータセットです。 隠れテストセット上で、複数のオープンワールドタスクのコンペティションを提供します。 データセットとコンペティションはhttps://www.ipb.uni-bonn.de/data/panic.comで公開しています。

関連論文リスト

• SOHES: Self-supervised Open-world Hierarchical Entity Segmentation [82.45303116125021]
  この研究は、人間のアノテーションを必要としない新しいアプローチであるSOHES(Self-supervised Open World Hierarchical Entities)を提示する。 視覚的特徴クラスタリングにより高品質な擬似ラベルを生成し,教師同士の学習によって擬似ラベルの雑音を補正する。 学習データとして生画像を用いることにより,自己監督型オープンワールドセグメンテーションにおける前例のない性能を実現する。
  論文  参考訳（メタデータ） (2024-04-18T17:59:46Z)
• Open-World Semantic Segmentation Including Class Similarity [31.799000996671975]
  本論文は, オープンワールドのセマンティックセマンティックセグメンテーション, すなわち, トレーニング中に未確認の物体を解釈する画像データの変種に対処する。 本稿では,クローズドワールドのセマンティックセグメンテーションを正確に行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T11:11:19Z)
• Towards Universal Vision-language Omni-supervised Segmentation [72.31277932442988]
  オープンワールドセグメンテーションタスクを提案分類として扱うために,VLOSS(Vision-Language Omni-Supervised)を提案する。 我々は、オムニ教師付きデータ(例えば、汎視的セグメンテーションデータ、オブジェクト検出データ、画像とテキストのペアデータ)をトレーニングに活用し、オープンワールドセグメンテーション能力を強化する。 Swin-Tiny を用いた VLOSS はパラメータが少ないため,LVIS v1 データセットのマスク AP では MaskCLIP を 2% 上回っている。
  論文  参考訳（メタデータ） (2023-03-12T02:57:53Z)
• Open-world Instance Segmentation: Top-down Learning with Bottom-up Supervision [83.57156368908836]
  ボトムアップとトップダウンオープンワールド(UDOS)と呼ばれるオープンワールドのインスタンスセグメンテーションのための新しいアプローチを提案する。 UDOSはまず、ボトムアップセグメンテーションから弱い監督で訓練されたトップダウンネットワークを使用して、オブジェクトの一部を予測する。 UDOSは、トップダウンアーキテクチャのスピードと効率と、ボトムアップの監視からカテゴリを見落とせる能力の両方を享受しています。
  論文  参考訳（メタデータ） (2023-03-09T18:55:03Z)
• ElC-OIS: Ellipsoidal Clustering for Open-World Instance Segmentation on LiDAR Data [13.978966783993146]
  オープンワールドインスタンス(OIS)は、現在の観察に現れるすべてのオブジェクトインスタンスを正確に分割することを目的とした、難しいタスクである。 これは、堅牢な自律ナビゲーションのような安全クリティカルなアプリケーションにとって重要である。 我々は、LiDARポイントクラウドのための柔軟で効果的なOISフレームワークを提案し、既知のインスタンスと未知のインスタンスの両方を正確に分割できる。
  論文  参考訳（メタデータ） (2023-03-08T03:22:11Z)
• Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity [59.1823948436411]
  我々は、マスク提案のための新しいアプローチ、ジェネリックグループネットワーク(GGN)を提案する。 我々のアプローチは、ピクセル親和性の局所測定とインスタンスレベルのマスク監視を組み合わせることで、データの多様性が許容するほど汎用的なモデルを設計したトレーニングレギュレータを生成する。
  論文  参考訳（メタデータ） (2022-04-12T22:37:49Z)
• Exemplar-Based Open-Set Panoptic Segmentation Network [79.99748041746592]
  我々は、オープンワールドにパン光学セグメンテーションを拡張し、オープンセットのパン光学セグメンテーション(OPS)タスクを導入する。 本研究では,タスクの実践的課題を調査し,既存のデータセットであるCOCO上にベンチマークを構築する。 本稿では,エスペクティブ理論に着想を得た,エスペクティブ・ベース・オープン・セット・パノプティブ・セグメンテーション・ネットワーク(EOPSN)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T07:59:21Z)
• SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation [111.61261419566908]
  ディープニューラルネットワーク(DNN)は通常、閉集合のセマンティッククラスで訓練される。 未発見のオブジェクトを扱うには不備だ。 このような物体の検出と局在化は、自動運転の認識などの安全クリティカルなアプリケーションに不可欠です。
  論文  参考訳（メタデータ） (2021-04-30T07:58:19Z)
• Video Class Agnostic Segmentation Benchmark for Autonomous Driving [13.312978643938202]
  特定の安全クリティカルなロボティクスアプリケーションでは、トレーニング時に未知のものを含むすべてのオブジェクトを分割することが重要です。 自律運転における単眼ビデオシーケンスから未知の物体を考慮に入れたビデオクラスセグメンテーションのタスクを定式化する。
  論文  参考訳（メタデータ） (2021-03-19T20:41:40Z)
• SVIRO: Synthetic Vehicle Interior Rear Seat Occupancy Dataset and Benchmark [11.101588888002045]
  SVIROは10台の異なる車両の旅客室におけるシーンの合成データセットである。 限られたバリエーションに基づいて学習した際の一般化能力と信頼性について、機械学習に基づくアプローチを解析する。
  論文  参考訳（メタデータ） (2020-01-10T14:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。