論文の概要: Towards Zero-Shot Anomaly Detection and Reasoning with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2502.07601v1
• Date: Tue, 11 Feb 2025 14:50:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:10.185055
• Title: Towards Zero-Shot Anomaly Detection and Reasoning with Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルによるゼロショット異常検出と推論に向けて
• Authors: Jiacong Xu, Shao-Yuan Lo, Bardia Safaei, Vishal M. Patel, Isht Dwivedi,
• Abstract要約: Zero-Shot Anomaly Detection (ZSAD)はADパラダイムである。 本稿では,ZSAD と推論のための視覚アシスタントである Anomaly-OneVision (Anomaly-OV) を提案する。
• 参考スコア（独自算出の注目度）: 29.078437003042357
• License:
• Abstract: Zero-Shot Anomaly Detection (ZSAD) is an emerging AD paradigm. Unlike the traditional unsupervised AD setting that requires a large number of normal samples to train a model, ZSAD is more practical for handling data-restricted real-world scenarios. Recently, Multimodal Large Language Models (MLLMs) have shown revolutionary reasoning capabilities in various vision tasks. However, the reasoning of image abnormalities remains underexplored due to the lack of corresponding datasets and benchmarks. To facilitate research in AD & reasoning, we establish the first visual instruction tuning dataset, Anomaly-Instruct-125k, and the evaluation benchmark, VisA-D&R. Through investigation with our benchmark, we reveal that current MLLMs like GPT-4o cannot accurately detect and describe fine-grained anomalous details in images. To address this, we propose Anomaly-OneVision (Anomaly-OV), the first specialist visual assistant for ZSAD and reasoning. Inspired by human behavior in visual inspection, Anomaly-OV leverages a Look-Twice Feature Matching (LTFM) mechanism to adaptively select and emphasize abnormal visual tokens. Extensive experiments demonstrate that Anomaly-OV achieves significant improvements over advanced generalist models in both detection and reasoning. Extensions to medical and 3D AD are provided for future study. The link to our project page: https://xujiacong.github.io/Anomaly-OV/
• Abstract（参考訳）: Zero-Shot Anomaly Detection (ZSAD)はADパラダイムである。 モデルをトレーニングするために多数の通常のサンプルを必要とする従来のAD設定とは異なり、ZSADはデータ制限された実世界のシナリオを扱うためにより実用的なものである。 近年、MLLM(Multimodal Large Language Models)は、様々な視覚タスクにおいて革命的推論能力を示している。 しかし、対応するデータセットやベンチマークが欠如しているため、画像異常の理由はまだ解明されていない。 ADと推論の研究を容易にするために,第1のビジュアルインストラクションチューニングデータセットであるAnomaly-Instruct-125kと評価ベンチマークであるVisA-D&Rを構築した。 GPT-4oのような現在のMLLMでは,画像中の微細な異常な詳細を正確に検出・記述できない。 そこで本稿では,ZSAD と推論のための視覚アシスタントである Anomaly-OneVision (Anomaly-OV) を提案する。 Anomaly-OVは視覚検査において人間の振る舞いにインスパイアされ、Look-Twice Feature Matching (LTFM) 機構を利用して、異常な視覚トークンを適応的に選択し、強調する。 大規模な実験により、Anomaly-OVは検出と推論の両方において高度なジェネラリストモデルよりも大幅に改善されていることが示されている。 医学と3D ADへの拡張は将来の研究のために提供される。 プロジェクトページへのリンク:https://xujiacong.github.io/Anomaly-OV/

関連論文リスト

• VarAD: Lightweight High-Resolution Image Anomaly Detection via Visual Autoregressive Modeling [4.511023424800653]
  本稿では,高分解能画像異常検出(HRIAD)の実践的課題について述べる。 本稿では,HRIADに対処するため,画像異常検出を視覚的トークン予測に変換し,VarADを提案する。 VarADは、軽量を維持しながら優れた高解像度画像異常検出性能を実現する。
  論文  参考訳（メタデータ） (2024-12-23T04:16:44Z)
• AD-LLM: Benchmarking Large Language Models for Anomaly Detection [50.57641458208208]
  本稿では,大規模な言語モデルが異常検出にどのように役立つかを評価する最初のベンチマークであるAD-LLMを紹介する。 我々は、ゼロショット検出、LLMの事前訓練された知識を用いて、タスク固有のトレーニングなしでADを実行すること、データ拡張、ADモデルを改善するために合成データとカテゴリ記述を生成すること、LLMを使用して教師なしADモデルを提案するモデル選択の3つの主要なタスクについて検討する。
  論文  参考訳（メタデータ） (2024-12-15T10:22:14Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• VMAD: Visual-enhanced Multimodal Large Language Model for Zero-Shot Anomaly Detection [19.79027968793026]
  Zero-shot Anomaly Detection (ZSAD)は、未確認のオブジェクト内の異常を認識し、ローカライズする。 既存のZSADメソッドは、クローズドワールド設定によって制限され、事前に定義されたプロンプトで見つからない欠陥に苦労する。 我々は、視覚的IAD知識ときめ細かい知覚でMLLMを強化する新しいフレームワークVMAD(Visual-enhanced MLLM Anomaly Detection)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T09:51:29Z)
• Learning Feature Inversion for Multi-class Anomaly Detection under General-purpose COCO-AD Benchmark [101.23684938489413]
  異常検出(AD)は、しばしば産業品質検査や医学的病変検査のための異常の検出に焦点が当てられている。 この研究はまず、COCOをADフィールドに拡張することにより、大規模で汎用的なCOCO-ADデータセットを構築する。 セグメンテーション分野のメトリクスにインスパイアされた我々は、より実用的なしきい値に依存したAD固有のメトリクスをいくつか提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:38:26Z)
• Anomaly Detection by Adapting a pre-trained Vision Language Model [48.225404732089515]
  トレーニング済みのCLIPモデルに適応することで,異常検出のためのCLIP-ADAという統合フレームワークを提案する。 学習可能なプロンプトを導入し、自己教師付き学習を通して異常パターンに関連付けることを提案する。 MVTec-AD と VisA の異常検出と局所化のための最新技術 97.5/55.6 と 89.3/33.1 を実現した。
  論文  参考訳（メタデータ） (2024-03-14T15:35:07Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection [86.24898024621008]
  産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデルを提案する(略してMyriad)。 我々は,視覚専門家が生成する異常マップをLMMのガイダンスとして利用し,視覚モデルが異常領域により多くの注意を払うように誘導する。 提案手法は最先端の手法に対して良好に機能するだけでなく,IAD分野におけるLMMの柔軟性や命令追従性を継承する。
  論文  参考訳（メタデータ） (2023-10-29T16:49:45Z)
• AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models [30.723122000372538]
  AnomalyGPTはLarge Vision-Language Models (LVLM)に基づく新しいIADアプローチである 我々は、異常な画像をシミュレートし、各画像に対応するテキスト記述を生成することで、トレーニングデータを生成する。 AnomalyGPTは86.1%の精度、画像レベルのAUC94.1%、ピクセルレベルのAUC95.3%の精度で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-29T15:02:53Z)
• Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
  M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。 InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。 LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
  論文  参考訳（メタデータ） (2023-08-11T21:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。