論文の概要: A Survey on Open-Vocabulary Detection and Segmentation: Past, Present, and Future
- arxiv url: http://arxiv.org/abs/2307.09220v2
- Date: Mon, 15 Apr 2024 02:47:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 00:07:07.193065
- Title: A Survey on Open-Vocabulary Detection and Segmentation: Past, Present, and Future
- Title（参考訳）: オープンボキャブラリ検出とセグメンテーションに関する調査:過去・現在・未来
- Authors: Chaoyang Zhu, Long Chen,
- Abstract要約: 分類学は、まず様々なタスクと方法論を整理するために開発された。
提案した分類法は、オブジェクト検出、セマンティック/インスタンス/パノプティクスのセグメンテーション、3Dとビデオの理解など、さまざまなタスクにまたがって普遍的である。
- 参考スコア（独自算出の注目度）: 6.4105103117533755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the most fundamental scene understanding tasks, object detection and segmentation have made tremendous progress in deep learning era. Due to the expensive manual labeling cost, the annotated categories in existing datasets are often small-scale and pre-defined, i.e., state-of-the-art fully-supervised detectors and segmentors fail to generalize beyond the closed vocabulary. To resolve this limitation, in the last few years, the community has witnessed an increasing attention toward Open-Vocabulary Detection (OVD) and Segmentation (OVS). By ``open-vocabulary'', we mean that the models can classify objects beyond pre-defined categories. In this survey, we provide a comprehensive review on recent developments of OVD and OVS. A taxonomy is first developed to organize different tasks and methodologies. We find that the permission and usage of weak supervision signals can well discriminate different methodologies, including: visual-semantic space mapping, novel visual feature synthesis, region-aware training, pseudo-labeling, knowledge distillation, and transfer learning. The proposed taxonomy is universal across different tasks, covering object detection, semantic/instance/panoptic segmentation, 3D and video understanding. The main design principles, key challenges, development routes, methodology strengths, and weaknesses are thoroughly analyzed. In addition, we benchmark each task along with the vital components of each method in appendix and updated online at https://github.com/seanzhuh/awesome-open-vocabulary-detection-and-segmentation. Finally, several promising directions are provided and discussed to stimulate future research.
- Abstract（参考訳）: 最も基本的なシーン理解タスクとして、オブジェクト検出とセグメンテーションは、ディープラーニング時代において大きな進歩を遂げた。
高価な手動ラベリングコストのため、既存のデータセットの注釈付きカテゴリは、しばしば小規模で事前定義された、すなわち最先端の完全教師付き検出器とセグメンタは、閉じた語彙を超えて一般化することができない。
この制限を解決するため、ここ数年、コミュニティはOpen-Vocabulary Detection (OVD)とSegmentation (OVS)に注目が集まっている。
Open-vocabulary' によって、モデルが事前に定義されたカテゴリを超えてオブジェクトを分類できることを意味する。
本稿では,OVD と OVS の最近の進展を概観する。
分類学は、まず様々なタスクと方法論を整理するために開発された。
弱い監視信号の許可と使用は、視覚意味空間マッピング、新しい視覚特徴合成、地域認識トレーニング、擬似ラベル付け、知識の蒸留、伝達学習など、様々な手法を適切に識別することができる。
提案した分類法は、オブジェクト検出、セマンティック/インスタンス/パノプティクスのセグメンテーション、3Dおよびビデオ理解など、さまざまなタスクにわたって普遍的である。
主な設計原則、重要な課題、開発ルート、方法論の強み、弱点を徹底的に分析します。
さらに,各メソッドの重要コンポーネントとともに各タスクをベンチマークし,https://github.com/seanzhuh/awesome-open-vocabulary-and-segmentationでオンラインに更新する。
最後に、将来の研究を刺激するために、いくつかの有望な方向性が提供され、議論される。
関連論文リスト
- Deep Learning for Video Anomaly Detection: A Review [52.74513211976795]
ビデオ異常検出(VAD)は、ビデオの正常性から逸脱する行動や事象を発見することを目的としている。
ディープラーニングの時代には、VADタスクには、さまざまなディープラーニングベースの方法が常に現れています。
このレビューでは、半教師付き、弱教師付き、完全教師付き、非教師付き、オープンセットの5つのカテゴリのスペクトルについて取り上げる。
論文 参考訳（メタデータ） (2024-09-09T07:31:16Z) - Frequency-based Matcher for Long-tailed Semantic Segmentation [22.199174076366003]
我々は、比較的未探索なタスク設定、長い尾のセマンティックセマンティックセグメンテーション(LTSS)に焦点を当てる。
本稿では,セマンティックセグメンテーション手法と長鎖解の性能を示すために,二値評価システムを提案し,LTSSベンチマークを構築した。
また,1対1のマッチングによって過剰な圧縮問題を解決する周波数ベースのマーカであるLTSSを改善するトランスフォーマーベースのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-06T09:57:56Z) - The devil is in the fine-grained details: Evaluating open-vocabulary object detectors for fine-grained understanding [8.448399308205266]
本研究では,動的語彙生成に基づく評価プロトコルを導入し,モデルがオブジェクトに対して正確な粒度記述を検出し,識別し,割り当てるかどうかを検証する。
提案プロトコルを用いて,最先端のオープンボキャブラリオブジェクト検出器を複数評価することにより,研究をさらに強化する。
論文 参考訳（メタデータ） (2023-11-29T10:40:52Z) - Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。
我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。
クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
論文 参考訳（メタデータ） (2023-11-19T06:00:39Z) - A Survey on Continual Semantic Segmentation: Theory, Challenge, Method and Application [7.595948982978669]
継続的学習は、漸進的学習または生涯学習としても知られ、ディープラーニングとAIシステムの最前線にある。
本稿では,連続的セマンティックセグメンテーション(CSS)について概説する。
現在のCSSモデルを、データ再生とデータフリーセットを含む2つのメインブランチに分類し、分類する。
また、多様なアプリケーションシナリオと開発傾向を持つ4つのCSS特長も導入しています。
論文 参考訳（メタデータ） (2023-10-22T11:53:56Z) - Towards Open Vocabulary Learning: A Survey [146.90188069113213]
ディープニューラルネットワークは,セグメンテーションやトラッキング,検出といった,さまざまなコアタスクにおいて,目覚ましい進歩を遂げている。
近年、視覚言語事前学習の急速な進歩により、オープンな語彙設定が提案されている。
本稿では,その分野における最近の発展を要約し分析し,オープンな語彙学習の徹底的なレビューを行う。
論文 参考訳（メタデータ） (2023-06-28T02:33:06Z) - A Survey on Label-efficient Deep Segmentation: Bridging the Gap between
Weak Supervision and Dense Prediction [115.9169213834476]
本稿では,ラベル効率の高いセグメンテーション手法について概説する。
まず,様々な種類の弱いラベルによって提供される監督に従って,これらの手法を整理する分類法を開発する。
次に,既存のラベル効率のセグメンテーション手法を統一的な視点から要約する。
論文 参考訳（メタデータ） (2022-07-04T06:21:01Z) - Recent Few-Shot Object Detection Algorithms: A Survey with Performance
Comparison [54.357707168883024]
Few-Shot Object Detection (FSOD)は、人間の学習能力を模倣する。
FSODは、学習した汎用オブジェクトの知識を共通のヘビーテールから新しいロングテールオブジェクトクラスにインテリジェントに転送する。
本稿では,問題定義,共通データセット,評価プロトコルなどを含むFSODの概要を紹介する。
論文 参考訳（メタデータ） (2022-03-27T04:11:28Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳（メタデータ） (2020-06-12T22:45:47Z) - Unsupervised Domain Adaptation in Semantic Segmentation: a Review [22.366638308792734]
本研究の目的は, セマンティックセグメンテーションのための深層ネットワークのUnsupervised Domain Adaptation (UDA) の最近の進歩について概説することである。
論文 参考訳（メタデータ） (2020-05-21T20:10:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。