論文の概要: ZSD-YOLO: Zero-Shot YOLO Detection using Vision-Language KnowledgeDistillation

• arxiv url: http://arxiv.org/abs/2109.12066v1
• Date: Fri, 24 Sep 2021 16:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-27 14:10:16.683511
• Title: ZSD-YOLO: Zero-Shot YOLO Detection using Vision-Language KnowledgeDistillation
• Title（参考訳）: ZSD-YOLO:視覚言語知識蒸留を用いたゼロショットヨーロ検出
• Authors: Johnathan Xie and Shuai Zheng
• Abstract要約: COCOのようなデータセットは、多くの画像に広く注釈付けされているが、多数のカテゴリがあり、さまざまなドメインにまたがるすべてのオブジェクトクラスに注釈を付けるのは高価で難しい。 我々は,CLIPのようなゼロショット事前学習モデルからの画像とテキストの埋め込みを,YOLOv5のような一段検出器からの修正意味予測ヘッドに整合させるビジョン・ランゲージ蒸留法を開発した。 推論中、我々のモデルは追加のトレーニングなしで任意の数のオブジェクトクラスを検出するように適応できる。
• 参考スコア（独自算出の注目度）: 5.424015823818208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world object sampling produces long-tailed distributions requiring exponentially more images for rare types. Zero-shot detection, which aims to detect unseen objects, is one direction to address this problem. A dataset such as COCO is extensively annotated across many images but with a sparse number of categories and annotating all object classes across a diverse domain is expensive and challenging. To advance zero-shot detection, we develop a Vision-Language distillation method that aligns both image and text embeddings from a zero-shot pre-trained model such as CLIP to a modified semantic prediction head from a one-stage detector like YOLOv5. With this method, we are able to train an object detector that achieves state-of-the-art accuracy on the COCO zero-shot detection splits with fewer model parameters. During inference, our model can be adapted to detect any number of object classes without additional training. We also find that the improvements provided by the scaling of our method are consistent across various YOLOv5 scales. Furthermore, we develop a self-training method that provides a significant score improvement without needing extra images nor labels.
• Abstract（参考訳）: 実世界のオブジェクトサンプリングは、稀なタイプに対して指数関数的に多くの画像を必要とする長い尾の分布を生成する。 未発見の物体を検出することを目的としたゼロショット検出は、この問題に対処する一方向である。 COCOのようなデータセットは、多くの画像に広く注釈付けされているが、多数のカテゴリがあり、さまざまなドメインにまたがるすべてのオブジェクトクラスに注釈を付けるのは高価で難しい。 そこで我々は,CLIPなどのゼロショット事前学習モデルからの画像とテキストの埋め込みを,YOLOv5のような一段検出器からの修正意味予測ヘッドに整合させるビジョンランゲージ蒸留法を開発した。 この方法では,cocoゼロショット検出スプリットにおける最先端精度を実現する物体検出器を,少ないモデルパラメータで訓練することができる。 推論中、我々のモデルは追加のトレーニングなしで任意の数のオブジェクトクラスを検出できる。 また,本手法のスケーリングによる改善は,様々なYOLOv5スケールで一貫性があることがわかった。 さらに,余分な画像やラベルを必要とせずに,大幅なスコア改善を実現する自己学習手法を開発した。

関連論文リスト

• Few-shot target-driven instance detection based on open-vocabulary object detection models [1.0749601922718608]
  オープンボキャブラリオブジェクト検出モデルは、同じ潜在空間において、より近い視覚的およびテキスト的概念をもたらす。 テキスト記述を必要とせずに,後者をワンショットあるいは少数ショットのオブジェクト認識モデルに変換する軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T14:03:15Z)
• A Novel Unified Architecture for Low-Shot Counting by Detection and Segmentation [10.461109095311546]
  ローショットオブジェクトカウンタは、注釈付き例題をほとんどあるいは全く使用せずに画像内のオブジェクト数を推定する。 既存のアプローチは、しばしば過一般化と偽陽性検出につながる。 本稿では,オブジェクト検出,セグメンテーション,カウント推定を行う新しいローショットカウンタであるGeCoを紹介する。
  論文  参考訳（メタデータ） (2024-09-27T12:20:29Z)
• Few-Shot Object Detection with Sparse Context Transformers [37.106378859592965]
  少ないショット検出は、少ないラベル付きデータでトレーニングされたモデルを使用してオブジェクトをローカライズするパターン認識における主要なタスクである。 本稿では,ソース領域におけるオブジェクトの知識を効果的に活用し,対象領域内の少数のトレーニング画像からスパースコンテキストを自動的に学習する新しいスパースコンテキスト変換器を提案する。 提案手法を2つの難易度オブジェクト検出ベンチマークで評価し,提案手法が関連する最先端技術と比較して競合性能を得ることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-02-14T17:10:01Z)
• Disambiguation of One-Shot Visual Classification Tasks: A Simplex-Based Approach [8.436437583394998]
  本稿では,複数の物体の存在を検出するための戦略を提案する。 この戦略は、高次元空間における単純体の角を識別することに基づいている。 提案手法は,極端設定における精度をわずかながら統計的に向上させる能力を示す。
  論文  参考訳（メタデータ） (2023-01-16T11:37:05Z)
• Incremental-DETR: Incremental Few-Shot Object Detection via Self-Supervised Learning [60.64535309016623]
  本稿では,DeTRオブジェクト検出器上での微調整および自己教師型学習によるインクリメンタル・デクリメンタル・デクリメンタル・デクリメンタル・オブジェクト検出を提案する。 まず,DeTRのクラス固有のコンポーネントを自己監督で微調整する。 さらに,DeTRのクラス固有のコンポーネントに知識蒸留を施した数発の微調整戦略を導入し,破滅的な忘れを伴わずに新しいクラスを検出するネットワークを奨励する。
  論文  参考訳（メタデータ） (2022-05-09T05:08:08Z)
• Robust Region Feature Synthesizer for Zero-Shot Object Detection [87.79902339984142]
  我々は,クラス内セマンティック・ディバージングコンポーネントとクラス間構造保存コンポーネントを含む,新しいゼロショットオブジェクト検出フレームワークを構築した。 リモートセンシング画像においてゼロショット物体検出を行う最初の研究である。
  論文  参考訳（メタデータ） (2022-01-01T03:09:15Z)
• Few-shot Weakly-Supervised Object Detection via Directional Statistics [55.97230224399744]
  少数ショットコモンオブジェクトローカライゼーション(COL)と少数ショット弱監視オブジェクト検出(WSOD)のための確率論的多重インスタンス学習手法を提案する。 本モデルでは,新しいオブジェクトの分布を同時に学習し,期待-最大化ステップにより局所化する。 提案手法は, 単純であるにもかかわらず, 少数のCOLとWSOD, 大規模WSODタスクにおいて, 高いベースラインを達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-25T22:34:16Z)
• Data Augmentation for Object Detection via Differentiable Neural Rendering [71.00447761415388]
  注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。 この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。 オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
  論文  参考訳（メタデータ） (2021-03-04T06:31:06Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)
• Any-Shot Object Detection [81.88153407655334]
  「アニーショット検出」とは、全く見えず、数発のカテゴリが推論中に同時に共起できる場所である。 我々は、ゼロショットと少数ショットの両方のオブジェクトクラスを同時に検出できる、統合された任意のショット検出モデルを提案する。 我々のフレームワークは、ゼロショット検出とFewショット検出タスクにのみ使用できる。
  論文  参考訳（メタデータ） (2020-03-16T03:43:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。