論文の概要: Zero-Shot In-Distribution Detection in Multi-Object Settings Using Vision-Language Foundation Models

• arxiv url: http://arxiv.org/abs/2304.04521v1
• Date: Mon, 10 Apr 2023 11:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:20:14.324532
• Title: Zero-Shot In-Distribution Detection in Multi-Object Settings Using Vision-Language Foundation Models
• Title（参考訳）: 視覚言語基礎モデルを用いたマルチオブジェクト環境におけるゼロショット分布検出
• Authors: Atsuyuki Miyai, Qing Yu, Go Irie, Kiyoharu Aizawa
• Abstract要約: 我々は,IDオブジェクトを含む画像をID画像として識別する,ID検出(In-distribution:ID)と呼ばれる新しい問題設定を提案する。 我々は,CLIP機能のグローバルおよびローカルなビジュアルテキストアライメントに基づいて,textbfGlobal-textbfLocal textbfMaximum textbfConcept textbfMatching (GL-MCM) という新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 45.82129477414505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Removing out-of-distribution (OOD) images from noisy images scraped from the Internet is an important preprocessing for constructing datasets, which can be addressed by zero-shot OOD detection with vision language foundation models (CLIP). The existing zero-shot OOD detection setting does not consider the realistic case where an image has both in-distribution (ID) objects and OOD objects. However, it is important to identify such images as ID images when collecting the images of rare classes or ethically inappropriate classes that must not be missed. In this paper, we propose a novel problem setting called in-distribution (ID) detection, where we identify images containing ID objects as ID images, even if they contain OOD objects, and images lacking ID objects as OOD images. To solve this problem, we present a new approach, \textbf{G}lobal-\textbf{L}ocal \textbf{M}aximum \textbf{C}oncept \textbf{M}atching (GL-MCM), based on both global and local visual-text alignments of CLIP features, which can identify any image containing ID objects as ID images. Extensive experiments demonstrate that GL-MCM outperforms comparison methods on both multi-object datasets and single-object ImageNet benchmarks.
• Abstract（参考訳）: 視覚言語基盤モデル(clip)を用いたゼロショットood検出によって対処できるデータセット構築のための重要な前処理は、インターネットからスクレイピングされたノイズ画像からod(out-of-distribution)画像を削除することである。 既存のゼロショットOOD検出設定は、画像が分布内(ID)オブジェクトとOODオブジェクトの両方を持つ現実的なケースを考慮していない。 しかし、希少なクラスや倫理的に不適切なクラスから画像を集める場合には、id画像として識別することが重要である。 本稿では,idオブジェクトを含むイメージをid画像として識別し,idオブジェクトを欠いたイメージをood画像として識別するin-distribution (id) detectionと呼ばれる新しい問題設定を提案する。 本稿では,この問題を解決するために, idオブジェクトを含む任意の画像をid画像として識別可能なクリップ特徴のグローバルおよびローカルな視覚的テキストアライメントに基づく,新しいアプローチである \textbf{g}lobal-\textbf{l}ocal \textbf{m}aximum \textbf{c}oncept \textbf{m}atching (gl-mcm)を提案する。 GL-MCMはマルチオブジェクトデータセットと単一オブジェクトイメージネットベンチマークの両方で比較手法より優れていることを示す。

関連論文リスト

• A Generative Approach for Wikipedia-Scale Visual Entity Recognition [56.55633052479446]
  与えられたクエリ画像をWikipediaにある600万の既存エンティティの1つにマッピングするタスクに対処する。 本稿では,対象エンティティを識別する「意味的・識別的コード」の自動復号化を学習する,新しい生成エンティティ認識フレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-03-04T13:47:30Z)
• CtxMIM: Context-Enhanced Masked Image Modeling for Remote Sensing Image Understanding [38.53988682814626]
  リモートセンシング画像理解のためのコンテキスト強化マスク画像モデリング手法(CtxMIM)を提案する。 CtxMIMは、オリジナルのイメージパッチを再構成テンプレートとして定式化し、2セットのイメージパッチを操作するために、Siameseフレームワークを使用している。 シンプルでエレガントな設計により、CtxMIMは、大規模データセットでオブジェクトレベルまたはピクセルレベルの機能を学ぶための事前トレーニングモデルを奨励する。
  論文  参考訳（メタデータ） (2023-09-28T18:04:43Z)
• Beyond One-to-One: Rethinking the Referring Image Segmentation [117.53010476628029]
  イメージセグメンテーションの参照は、自然言語表現によって参照される対象オブジェクトをセグメンテーションすることを目的としている。 2つのデコーダ分岐を含むDMMI(Dual Multi-Modal Interaction)ネットワークを提案する。 テキスト・ツー・イメージ・デコーダでは、テキストの埋め込みを利用して視覚的特徴を検索し、対応するターゲットをローカライズする。 一方、画像からテキストへのデコーダは、視覚的特徴に条件付けられた消去されたエンティティ・フレーズを再構成するために実装される。
  論文  参考訳（メタデータ） (2023-08-26T11:39:22Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Detector Guidance for Multi-Object Text-to-Image Generation [61.70018793720616]
  Detector Guidance(DG)は、潜在オブジェクト検出モデルを統合して、生成プロセス中に異なるオブジェクトを分離する。 人間の評価は、DGが対立する概念の融合を防ぐのに8-22%の利点をもたらすことを示した。
  論文  参考訳（メタデータ） (2023-06-04T02:33:12Z)
• CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification without Concrete Text Labels [28.42405456691034]
  本稿では,画像再識別作業における視覚的表現の改善を目的とした2段階戦略を提案する。 鍵となるアイデアは、各IDの学習可能なテキストトークンセットを通じて、CLIPのクロスモーダル記述能力をフル活用することだ。 提案手法の有効性は、人や車両のReIDタスクのための複数のデータセット上で検証される。
  論文  参考訳（メタデータ） (2022-11-25T09:41:57Z)
• Tasks Integrated Networks: Joint Detection and Retrieval for Image Search [99.49021025124405]
  多くの現実世界の探索シナリオ(例えばビデオ監視)では、オブジェクトは正確に検出または注釈付けされることはめったにない。 まず、エンド・ツー・エンド統合ネット(I-Net)を紹介します。 さらに,2つの新しいコントリビューションを行うDC-I-Netという改良されたI-Netを提案する。
  論文  参考訳（メタデータ） (2020-09-03T03:57:50Z)
• A Fast Fully Octave Convolutional Neural Network for Document Image Segmentation [1.8426817621478804]
  ID画像中の文書のエッジやテキスト領域を検出するためのU-Netに基づく手法について検討する。 本研究では,オクタベ・コンボリューションに基づくモデル最適化手法を提案する。 その結果,提案手法はセグメンテーションタスクの文書化やポータブル化に有効であることがわかった。
  論文  参考訳（メタデータ） (2020-04-03T00:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。