論文の概要: Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection

• arxiv url: http://arxiv.org/abs/2310.19070v3
• Date: Fri, 17 Jan 2025 06:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:57:49.220697
• Title: Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection
• Title（参考訳）: Myriad:産業異常検出のためのビジョンエキスパートの適用による大規模マルチモーダルモデル
• Authors: Yuanze Li, Haolin Wang, Shihao Yuan, Ming Liu, Debin Zhao, Yiwen Guo, Chen Xu, Guangming Shi, Wangmeng Zuo,
• Abstract要約: 産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデルを提案する(略してMyriad)。 我々は,視覚専門家が生成する異常マップをLMMのガイダンスとして利用し,視覚モデルが異常領域により多くの注意を払うように誘導する。 提案手法は最先端の手法に対して良好に機能するだけでなく,IAD分野におけるLMMの柔軟性や命令追従性を継承する。
• 参考スコア（独自算出の注目度）: 86.24898024621008
• License:
• Abstract: Due to the training configuration, traditional industrial anomaly detection (IAD) methods have to train a specific model for each deployment scenario, which is insufficient to meet the requirements of modern design and manufacturing. On the contrary, large multimodal models~(LMMs) have shown eminent generalization ability on various vision tasks, and their perception and comprehension capabilities imply the potential of applying LMMs on IAD tasks. However, we observe that even though the LMMs have abundant knowledge about industrial anomaly detection in the textual domain, the LMMs are unable to leverage the knowledge due to the modality gap between textual and visual domains. To stimulate the relevant knowledge in LMMs and adapt the LMMs towards anomaly detection tasks, we introduce existing IAD methods as vision experts and present a novel large multimodal model applying vision experts for industrial anomaly detection~(abbreviated to {Myriad}). Specifically, we utilize the anomaly map generated by the vision experts as guidance for LMMs, such that the vision model is guided to pay more attention to anomalous regions. Then, the visual features are modulated via an adapter to fit the anomaly detection tasks, which are fed into the language model together with the vision expert guidance and human instructions to generate the final outputs. Extensive experiments are applied on MVTec-AD, VisA, and PCB Bank benchmarks demonstrate that our proposed method not only performs favorably against state-of-the-art methods, but also inherits the flexibility and instruction-following ability of LMMs in the field of IAD. Source code and pre-trained models are publicly available at \url{https://github.com/tzjtatata/Myriad}.
• Abstract（参考訳）: トレーニング構成のため、従来の産業異常検出(IAD)手法では、配置シナリオごとに特定のモデルを訓練する必要があるが、現代の設計と製造の要件を満たすには不十分である。 逆に、大きなマルチモーダルモデル~(LMM)は、様々な視覚タスクにおいて顕著な一般化能力を示し、その知覚と理解能力は、IADタスクにLMMを適用する可能性を示唆している。 しかし,LMMにはテキスト領域における産業的異常検出に関する知識が豊富にあるにもかかわらず,テキスト領域と視覚領域のモダリティギャップのため,LMMは知識を活用できない。 LMMの関連知識を刺激し,LMMを異常検出タスクに適用するために,既存のIAD手法を視覚専門家として導入し,産業的異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデルを提案する(略して {Myriad} と略す)。 具体的には、視覚専門家が生成した異常マップをLMMのガイダンスとして利用し、視覚モデルが異常領域により多くの注意を払うように誘導する。 次に、視覚的特徴をアダプタを介して変調し、言語モデルに入力される異常検出タスクに適合させ、視覚専門家の指導と人間の指示とともに最終出力を生成する。 MVTec-AD, VisA, PCB Bank のベンチマークにおいて,提案手法は最先端の手法に対して良好に機能するだけでなく,IAD 分野における LMM の柔軟性と命令追従性を継承することを示した。 ソースコードと事前訓練されたモデルは、 \url{https://github.com/tzjtatata/Myriad} で公開されている。

関連論文リスト

• Can Multimodal Large Language Models be Guided to Improve Industrial Anomaly Detection? [5.979778557940213]
  従来の産業異常検出モデルは、しばしば柔軟性と適応性に苦しむ。 MLLM(Multimodal Large Language Models)の最近の進歩は、これらの制限を克服することを約束している。 IADのためのMLLM性能を向上させるために設計された,新しいマルチエキスパートフレームワークであるEchoを提案する。
  論文  参考訳（メタデータ） (2025-01-27T05:41:10Z)
• Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark [73.27104042215207]
  EMMAは,数学,物理,化学,コーディングにまたがる有機マルチモーダル推論を対象とするベンチマークである。 EMMAタスクは、各モードで独立に推論することで対処できない高度なクロスモーダル推論を要求する。 EMMA上での最先端MLLMの評価は、複雑なマルチモーダルおよびマルチステップ推論タスクの処理において、重大な制限を生じさせる。
  論文  参考訳（メタデータ） (2025-01-09T18:55:52Z)
• Chimera: Improving Generalist Model with Domain-Specific Experts [35.706585190958634]
  ドメイン特化の専門家による既存のLMMの能力を高めるために,スケーラブルで低コストなマルチモーダルパイプラインを導入する。 具体的には、プログレッシブ・トレーニング・ストラテジーを設計し、専門家モデルからの機能をジェネラリストLMMの入力に統合する。 結果として、チャート、テーブル、数学、ドキュメントドメインにまたがる多用途モデルが出来上がります。
  論文  参考訳（メタデータ） (2024-12-08T16:10:42Z)
• VMAD: Visual-enhanced Multimodal Large Language Model for Zero-Shot Anomaly Detection [19.79027968793026]
  Zero-shot Anomaly Detection (ZSAD)は、未確認のオブジェクト内の異常を認識し、ローカライズする。 既存のZSADメソッドは、クローズドワールド設定によって制限され、事前に定義されたプロンプトで見つからない欠陥に苦労する。 我々は、視覚的IAD知識ときめ細かい知覚でMLLMを強化する新しいフレームワークVMAD(Visual-enhanced MLLM Anomaly Detection)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T09:51:29Z)
• VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents [50.12414817737912]
  大規模マルチモーダルモデル(LMM)は、人工知能の新たな時代を迎え、言語と視覚の融合によって、高い能力を持つVisual Foundation Agentを形成する。 既存のベンチマークでは、複雑な実世界の環境でのLMMの可能性を十分に証明できない。 VisualAgentBench (VAB) は、視覚基礎エージェントとしてLMMを訓練し評価するための先駆的なベンチマークである。
  論文  参考訳（メタデータ） (2024-08-12T17:44:17Z)
• Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
  大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。 以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。 本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T16:26:56Z)
• Large Language Models can Deliver Accurate and Interpretable Time Series Anomaly Detection [34.40206965758026]
  時系列異常検出(TSAD)は、標準トレンドから逸脱する非定型パターンを特定することで、様々な産業において重要な役割を果たす。 従来のTSADモデルは、しばしばディープラーニングに依存しており、広範なトレーニングデータを必要とし、ブラックボックスとして動作する。 LLMADは,Large Language Models (LLMs) を用いて,高精度かつ解釈可能なTSAD結果を提供する新しいTSAD手法である。
  論文  参考訳（メタデータ） (2024-05-24T09:07:02Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。