論文の概要: Simple Open-Vocabulary Object Detection with Vision Transformers

• arxiv url: http://arxiv.org/abs/2205.06230v1
• Date: Thu, 12 May 2022 17:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 13:40:11.407223
• Title: Simple Open-Vocabulary Object Detection with Vision Transformers
• Title（参考訳）: 視覚トランスフォーマーを用いた簡易オープンボキャブラリー物体検出
• Authors: Matthias Minderer, Alexey Gritsenko, Austin Stone, Maxim Neumann, Dirk Weissenborn, Alexey Dosovitskiy, Aravindh Mahendran, Anurag Arnab, Mostafa Dehghani, Zhuoran Shen, Xiao Wang, Xiaohua Zhai, Thomas Kipf, Neil Houlsby
• Abstract要約: 本稿では,画像テキストモデルをオープン語彙オブジェクト検出に転送するための強力なレシピを提案する。 我々は、最小限の修正、コントラスト的な画像テキスト事前学習、エンドツーエンド検出細調整を備えた標準のVision Transformerアーキテクチャを使用する。 我々は、ゼロショットテキスト条件とワンショット画像条件オブジェクト検出において、非常に強力な性能を達成するために必要な適応戦略と正規化を提供する。
• 参考スコア（独自算出の注目度）: 51.57562920090721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining simple architectures with large-scale pre-training has led to massive improvements in image classification. For object detection, pre-training and scaling approaches are less well established, especially in the long-tailed and open-vocabulary setting, where training data is relatively scarce. In this paper, we propose a strong recipe for transferring image-text models to open-vocabulary object detection. We use a standard Vision Transformer architecture with minimal modifications, contrastive image-text pre-training, and end-to-end detection fine-tuning. Our analysis of the scaling properties of this setup shows that increasing image-level pre-training and model size yield consistent improvements on the downstream detection task. We provide the adaptation strategies and regularizations needed to attain very strong performance on zero-shot text-conditioned and one-shot image-conditioned object detection. Code and models are available on GitHub.
• Abstract（参考訳）: 単純なアーキテクチャと大規模な事前学習を組み合わせることで、画像分類が大幅に改善された。 オブジェクト検出では、事前トレーニングとスケーリングのアプローチは、特にトレーニングデータが比較的少ない長い尾とオープンな語彙設定では、あまり確立されていない。 本稿では,画像テキストモデルをオープン語彙オブジェクト検出に転送するための強力なレシピを提案する。 我々は、最小限の修正、コントラスト的な画像テキスト事前学習、エンドツーエンド検出細調整を備えた標準のVision Transformerアーキテクチャを使用する。 その結果,画像レベルの事前学習とモデルサイズの増加により,下流検出タスクにおいて一貫した改善が得られた。 我々は,ゼロショットテキストコンディショニングおよびワンショット画像コンディショニングオブジェクト検出において,非常に強力な性能を達成するために必要な適応戦略と規則化を提供する。 コードとモデルはgithubで入手できる。

関連論文リスト

• Adapting Vision Transformer for Efficient Change Detection [36.86012953467539]
  本稿では,事前学習した画像エンコーダのパラメータを凍結し,追加のトレーニングパラメータを導入する,効率的なチューニング手法を提案する。 6つの変更検出ベンチマークで非常に低いリソース消費を維持しながら、競争力やよりよい結果を得ました。
  論文  参考訳（メタデータ） (2023-12-08T07:09:03Z)
• Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
  低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。 主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。 上述の潜在対応をモデル化するための双レベルパラダイムを導入する。 エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-06-02T08:16:21Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• ClipCrop: Conditioned Cropping Driven by Vision-Language Model [90.95403416150724]
  我々は、堅牢でユーザ意図的な収穫アルゴリズムを構築する基盤として、視覚言語モデルを活用している。 そこで本研究では,ユーザの意図を反映したテキストや画像クエリを用いて,トリミングを行う手法を開発した。 私たちのパイプライン設計では、小さなデータセットでテキスト条件の美学を学習することができます。
  論文  参考訳（メタデータ） (2022-11-21T14:27:07Z)
• SemAug: Semantically Meaningful Image Augmentations for Object Detection Through Language Grounding [5.715548995729382]
  本研究では,シーンに文脈的に意味のある知識を注入することで,画像強調のための効果的な手法を提案する。 本手法は,意味的に適切な新しいオブジェクトを抽出することから,言語接地によるオブジェクト検出のための意味的意味的画像強調法であるSemAugを出発点とする。
  論文  参考訳（メタデータ） (2022-08-15T19:00:56Z)
• Scaling Novel Object Detection with Weakly Supervised Detection Transformers [21.219817483091166]
  Weakly Supervised Detection Transformerを提案する。これは大規模な事前学習データセットからWSODファインタニングへの効率的な知識伝達を可能にする。 提案手法は, 大規模オブジェクト検出データセットにおいて, 従来の最先端モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-11T21:45:54Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• End-to-End Object Detection with Transformers [88.06357745922716]
  本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。 我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。 この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
  論文  参考訳（メタデータ） (2020-05-26T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。