論文の概要: Incremental Object Detection with CLIP
- arxiv url: http://arxiv.org/abs/2310.08815v1
- Date: Fri, 13 Oct 2023 01:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 14:42:38.303328
- Title: Incremental Object Detection with CLIP
- Title(参考訳): CLIPによるインクリメンタルオブジェクト検出
- Authors: Yupeng He, Ziyue Huang, Qingjie Liu, Yunhong Wang
- Abstract要約: インクリメンタルな検出タスクでは、インクリメンタルな分類タスクとは異なり、ラベル付きバウンディングボックスが異なるため、データのあいまいさが存在する。
本稿では,CLIPなどの言語視覚モデルを用いて,異なるクラスセットに対するテキスト特徴埋め込みを生成することを提案する。
次に、学習段階の未使用の新規クラスを置き換えるために、幅広いクラスを使用し、実際の段階的なシナリオをシミュレートします。
- 参考スコア(独自算出の注目度): 39.85017351940035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the incremental detection task, unlike the incremental classification
task, data ambiguity exists due to the possibility of an image having different
labeled bounding boxes in multiple continuous learning stages. This phenomenon
often impairs the model's ability to learn new classes. However, the forward
compatibility of the model is less considered in existing work, which hinders
the model's suitability for incremental learning. To overcome this obstacle, we
propose to use a language-visual model such as CLIP to generate text feature
embeddings for different class sets, which enhances the feature space globally.
We then employ the broad classes to replace the unavailable novel classes in
the early learning stage to simulate the actual incremental scenario. Finally,
we use the CLIP image encoder to identify potential objects in the proposals,
which are classified into the background by the model. We modify the background
labels of those proposals to known classes and add the boxes to the training
set to alleviate the problem of data ambiguity. We evaluate our approach on
various incremental learning settings on the PASCAL VOC 2007 dataset, and our
approach outperforms state-of-the-art methods, particularly for the new
classes.
- Abstract(参考訳): 漸進的検出タスクでは、インクリメンタルな分類タスクとは異なり、複数の連続的な学習段階においてラベル付き境界ボックスが異なるイメージが存在するため、データのあいまいさが存在する。
この現象は、しばしばモデルが新しいクラスを学ぶ能力を妨げる。
しかし、モデルの前方互換性は既存の作業では考慮されていないため、漸進的な学習に対するモデルの適合性を妨げている。
この課題を克服するために,クリップなどの言語-視覚モデルを用いて,異なるクラス集合に対するテキスト特徴埋め込みを生成することを提案する。
次に,未使用の新規クラスを早期学習段階に置き換え,実際のインクリメンタルシナリオをシミュレートするために,幅広いクラスを採用する。
最後に、CLIP画像エンコーダを用いて、提案の潜在的なオブジェクトを特定し、モデルによって背景に分類する。
これらの提案の背景ラベルを既知のクラスに修正し、トレーニングセットにボックスを追加して、データのあいまいさを軽減します。
我々は,PASCAL VOC 2007データセットの様々な漸進的学習設定に対するアプローチを評価し,そのアプローチは,特に新しいクラスにおいて最先端の手法よりも優れていることを示した。
関連論文リスト
- Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳(メタデータ) (2023-06-16T08:13:41Z) - RaSP: Relation-aware Semantic Prior for Weakly Supervised Incremental
Segmentation [28.02204928717511]
本稿では,事前学習したクラスから新しいクラスにオブジェクトを移すための弱い教師付きアプローチを提案する。
クラス間の単純なペアインタラクションでさえ、古いクラスと新しいクラスのセグメンテーションマスクの品質を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-05-31T14:14:21Z) - Evidential Deep Learning for Class-Incremental Semantic Segmentation [15.563703446465823]
クラス増分学習(Class-Incremental Learning)は、以前トレーニングされたニューラルネットワークを新しいクラスに拡張することを目的とした機械学習の課題である。
本稿では、将来的な非相関クラスの特徴クラスタリングを回避しつつ、ラベルのないクラスをモデル化する方法の問題に対処する。
提案手法は,この問題をディリクレ分布の期待値と推定の不確実性に対応する未知のクラス(背景)確率で計算した,別のフォアグラウンドクラス確率に分解する。
論文 参考訳(メタデータ) (2022-12-06T10:13:30Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-03-31T13:46:41Z) - Novel Class Discovery in Semantic Segmentation [104.30729847367104]
セマンティックにおける新しいクラス発見(NCDSS)について紹介する。
ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。
NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。
本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
論文 参考訳(メタデータ) (2021-12-03T13:31:59Z) - A Few-Shot Sequential Approach for Object Counting [63.82757025821265]
画像中のオブジェクトに逐次出席するクラスアテンション機構を導入し,それらの特徴を抽出する。
提案手法は点レベルのアノテーションに基づいて訓練され,モデルのクラス依存的・クラス依存的側面を乱す新しい損失関数を用いる。
本稿では,FSODやMS COCOなど,さまざまなオブジェクトカウント/検出データセットについて報告する。
論文 参考訳(メタデータ) (2020-07-03T18:23:39Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳(メタデータ) (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。