論文の概要: CLIP-FSAC++: Few-Shot Anomaly Classification with Anomaly Descriptor Based on CLIP

• arxiv url: http://arxiv.org/abs/2412.03829v1
• Date: Thu, 05 Dec 2024 02:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:57.263054
• Title: CLIP-FSAC++: Few-Shot Anomaly Classification with Anomaly Descriptor Based on CLIP
• Title（参考訳）: CLIP-FSAC++: CLIP に基づいた Anomaly Descriptor を用いたFew-Shot 異常分類
• Authors: Zuo Zuo, Jiahao Dong, Yao Wu, Yanyun Qu, Zongze Wu,
• Abstract要約: 筆者らは,CLIP-FSAC++と呼ばれる一段階の訓練を施した効果的な数ショット異常分類フレームワークを提案する。 異常記述子では、画像からテキストへのクロスアテンションモジュールを使用して、画像固有のテキスト埋め込みを得る。 その結果,VisAおよびMVTEC-ADを1, 2, 4, 8ショット設定で非正規ショット異常分類し,本手法の総合的な評価実験を行った。
• 参考スコア（独自算出の注目度）: 22.850815902535988
• License:
• Abstract: Industrial anomaly classification (AC) is an indispensable task in industrial manufacturing, which guarantees quality and safety of various product. To address the scarcity of data in industrial scenarios, lots of few-shot anomaly detection methods emerge recently. In this paper, we propose an effective few-shot anomaly classification (FSAC) framework with one-stage training, dubbed CLIP-FSAC++. Specifically, we introduce a cross-modality interaction module named Anomaly Descriptor following image and text encoders, which enhances the correlation of visual and text embeddings and adapts the representations of CLIP from pre-trained data to target data. In anomaly descriptor, image-to-text cross-attention module is used to obtain image-specific text embeddings and text-to-image cross-attention module is used to obtain text-specific visual embeddings. Then these modality-specific embeddings are used to enhance original representations of CLIP for better matching ability. Comprehensive experiment results are provided for evaluating our method in few-normal shot anomaly classification on VisA and MVTEC-AD for 1, 2, 4 and 8-shot settings. The source codes are at https://github.com/Jay-zzcoder/clip-fsac-pp
• Abstract（参考訳）: 産業異常分類(産業異常分類、英: Industrial anomaly classification、AC)は、工業生産において必要不可欠な課題であり、様々な製品の品質と安全性を保証する。 産業シナリオにおけるデータの不足に対処するため,近年,数発の異常検出手法が出現している。 本稿では,CLIP-FSAC++と呼ばれる一段階の訓練を施した実効的な複数ショット異常分類(FSAC)フレームワークを提案する。 具体的には、画像とテキストエンコーダに追従するAnomaly Descriptorと呼ばれる相互モダリティ相互作用モジュールを導入し、視覚とテキストの埋め込みの相関を強化し、CLIPの表現をトレーニング済みデータからターゲットデータに適応させる。 異常記述子では、画像からテキストへのクロスアテンションモジュールを使用して、画像固有のテキスト埋め込みを取得し、テキストから画像へのクロスアテンションモジュールを使用して、テキスト固有のビジュアル埋め込みを得る。 次に、これらのモダリティ固有の埋め込みを使用して、マッチング能力を改善するためにCLIPのオリジナルの表現を強化する。 その結果,VisAおよびMVTEC-ADを1, 2, 4, 8ショット設定で非正規ショット異常分類し,本手法の総合的な評価実験を行った。 ソースコードはhttps://github.com/Jay-zzcoder/clip-fsac-ppにある。

関連論文リスト

• DiffCLIP: Few-shot Language-driven Multimodal Classifier [19.145645804307566]
  DiffCLIPはContrastive Language-Image Pretrainingを拡張する新しいフレームワークである。 高次元マルチモーダルリモートセンシング画像の正確な分類のための包括的言語駆動意味情報を提供する。 DiffCLIPはCLIPと比較して3つのリモートセンシングデータセットで10.65%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-12-10T02:21:39Z)
• Mining Open Semantics from CLIP: A Relation Transition Perspective for Few-Shot Learning [46.25534556546322]
  そこで本稿では,イメージ・アンカー関係から画像・ターゲット関係に遷移して予測を行うアンカーとしてオープンセマンティクスを抽出することを提案する。 本手法は, 数ショットの分類設定を考慮し, 従来の最先端技術に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-06-17T06:28:58Z)
• Leveraging Cross-Modal Neighbor Representation for Improved CLIP Classification [54.96876797812238]
  画像と隣接するテキスト間の距離構造に基づく新しいCrOss-moDal nEighbor表現(CODER)を提案する。 高品質のCODERを構築する鍵は、画像にマッチする大量の高品質で多様なテキストを作成する方法にある。 さまざまなデータセットやモデルに対する実験結果から、CODERの有効性が確認されている。
  論文  参考訳（メタデータ） (2024-04-27T02:04:36Z)
• Re-Scoring Using Image-Language Similarity for Few-Shot Object Detection [4.0208298639821525]
  ラベルの少ない新規なオブジェクトの検出に焦点をあてるオブジェクト検出は,コミュニティにおいて新たな課題となっている。 近年の研究では、事前訓練されたモデルや修正された損失関数の適応により、性能が向上することが示されている。 我々は、より高速なR-CNNを拡張するFew-shot Object Detection (RISF)のための画像言語類似性を用いた再構成を提案する。
  論文  参考訳（メタデータ） (2023-11-01T04:04:34Z)
• Image-free Classifier Injection for Zero-Shot Classification [72.66409483088995]
  ゼロショット学習モデルは、訓練中に見られなかったクラスからのサンプルのイメージ分類において顕著な結果が得られる。 我々は,画像データを用いることなく,ゼロショット分類機能を備えた事前学習モデルの装備を目指す。 提案したイメージフリーインジェクション・ウィズ・セマンティックス (ICIS) でこれを実現する。
  論文  参考訳（メタデータ） (2023-08-21T09:56:48Z)
• CLIP-guided Prototype Modulating for Few-shot Action Recognition [49.11385095278407]
  この研究は、CLIPの強力なマルチモーダル知識を伝達して、不正確なプロトタイプ推定問題を緩和することを目的としている。 本稿では,CLIP-FSAR(CLIP-FSAR)と呼ばれるCLIP誘導型プロトタイプ変調フレームワークについて述べる。
  論文  参考訳（メタデータ） (2023-03-06T09:17:47Z)
• CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification without Concrete Text Labels [28.42405456691034]
  本稿では,画像再識別作業における視覚的表現の改善を目的とした2段階戦略を提案する。 鍵となるアイデアは、各IDの学習可能なテキストトークンセットを通じて、CLIPのクロスモーダル記述能力をフル活用することだ。 提案手法の有効性は、人や車両のReIDタスクのための複数のデータセット上で検証される。
  論文  参考訳（メタデータ） (2022-11-25T09:41:57Z)
• Fine-grained Image Captioning with CLIP Reward [104.71533106301598]
  ウェブから大量の画像テキストペアをトレーニングしたマルチモーダルエンコーダであるCLIPを用いて、マルチモーダル類似性を計算し、報酬関数として利用する。 また、追加のテキストアノテーションを必要としない文法を改善するために、CLIPテキストエンコーダの簡単な微調整戦略を提案する。 テキスト・ツー・イメージ検索とFineCapEvalの実験において、提案したCLIP誘導モデルは、CIDEr最適化モデルよりも顕著なキャプションを生成する。
  論文  参考訳（メタデータ） (2022-05-26T02:46:09Z)
• No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
  ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。 本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
  論文  参考訳（メタデータ） (2022-04-11T07:16:39Z)
• Self-supervised Image-specific Prototype Exploration for Weakly Supervised Semantic Segmentation [72.33139350241044]
  画像レベルのラベルをベースとしたWSSS(Weakly Supervised Semantic COCO)は,アノテーションコストの低さから注目されている。 本稿では,画像特異的なプロトタイプ探索 (IPE) と汎用一貫性 (GSC) の喪失からなる画像固有プロトタイプ探索 (SIPE) を提案する。 SIPEは,画像レベルラベルのみを用いて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-06T09:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。