論文の概要: MMAD: A Comprehensive Benchmark for Multimodal Large Language Models in Industrial Anomaly Detection

• arxiv url: http://arxiv.org/abs/2410.09453v3
• Date: Fri, 21 Feb 2025 04:50:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:07:51.856700
• Title: MMAD: A Comprehensive Benchmark for Multimodal Large Language Models in Industrial Anomaly Detection
• Title（参考訳）: MMAD:産業異常検出における多モーダル大言語モデルの総合ベンチマーク
• Authors: Xi Jiang, Jian Li, Hanqiu Deng, Yong Liu, Bin-Bin Gao, Yifeng Zhou, Jialin Li, Chengjie Wang, Feng Zheng,
• Abstract要約: 本稿では,産業異常検出における最初のフルスペクトルMLLMベンチマークであるMMADを提案する。 産業検査におけるMLLMの7つの重要なサブタスクを定義し,MMADデータセットを生成するための新しいパイプラインを設計した。 MMADを用いて,様々な最先端MLLMの包括的,定量的評価を行った。
• 参考スコア（独自算出の注目度）: 66.05200339481115
• License:
• Abstract: In the field of industrial inspection, Multimodal Large Language Models (MLLMs) have a high potential to renew the paradigms in practical applications due to their robust language capabilities and generalization abilities. However, despite their impressive problem-solving skills in many domains, MLLMs' ability in industrial anomaly detection has not been systematically studied. To bridge this gap, we present MMAD, the first-ever full-spectrum MLLMs benchmark in industrial Anomaly Detection. We defined seven key subtasks of MLLMs in industrial inspection and designed a novel pipeline to generate the MMAD dataset with 39,672 questions for 8,366 industrial images. With MMAD, we have conducted a comprehensive, quantitative evaluation of various state-of-the-art MLLMs. The commercial models performed the best, with the average accuracy of GPT-4o models reaching 74.9%. However, this result falls far short of industrial requirements. Our analysis reveals that current MLLMs still have significant room for improvement in answering questions related to industrial anomalies and defects. We further explore two training-free performance enhancement strategies to help models improve in industrial scenarios, highlighting their promising potential for future research.
• Abstract（参考訳）: 産業検査の分野では、マルチモーダル大言語モデル(MLLM)は、堅牢な言語能力と一般化能力により、実用上のパラダイムを更新する可能性が高い。 しかし, MLLMの工業的異常検出能力は, 多くの領域において目覚ましい問題解決技術にもかかわらず, 体系的に研究されていない。 このギャップを埋めるために,産業異常検出における最初のフルスペクトルMLLMベンチマークであるMMADを提案する。 産業検査におけるMLLMの7つの重要なサブタスクを定義し,8,366の産業画像に対して,39,672問のMMADデータセットを生成する新しいパイプラインを設計した。 MMADを用いて,様々な最先端MLLMの包括的,定量的評価を行った。 GPT-4oモデルの平均精度は74.9%に達した。 しかし、この結果は工業的な要求には程遠い。 分析の結果,現在のMLLMには,産業上の異常や欠陥に関する疑問に答える上で,大きな改善の余地があることが判明した。 さらに、産業シナリオにおけるモデルの改善を支援するための2つのトレーニングフリーパフォーマンス向上戦略について検討し、今後の研究の可能性を明らかにする。

関連論文リスト

• MME-Industry: A Cross-Industry Multimodal Evaluation Benchmark [20.642661835794975]
  産業環境におけるMLLMの評価に特化して設計された新しいベンチマークであるMME-Industryを紹介する。 ベンチマークは21の異なるドメインを含み、1ドメインにつき50の質問と回答のペアが1050である。 ベンチマークの中国語版と英語版の両方を提供し、これらの言語間でMLLMの能力の比較分析を可能にする。
  論文  参考訳（メタデータ） (2025-01-28T03:56:17Z)
• Can Multimodal Large Language Models be Guided to Improve Industrial Anomaly Detection? [5.979778557940213]
  従来の産業異常検出モデルは、しばしば柔軟性と適応性に苦しむ。 MLLM(Multimodal Large Language Models)の最近の進歩は、これらの制限を克服することを約束している。 IADのためのMLLM性能を向上させるために設計された,新しいマルチエキスパートフレームワークであるEchoを提案する。
  論文  参考訳（メタデータ） (2025-01-27T05:41:10Z)
• Benchmarking Large and Small MLLMs [71.78055760441256]
  大規模なマルチモーダル言語モデル(MLLM)は、マルチモーダルコンテンツの理解と生成において顕著な進歩を遂げている。 しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。 LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMは、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-01-04T07:44:49Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Efficient Multimodal Large Language Models: A Survey [60.7614299984182]
  MLLM(Multimodal Large Language Models)は、視覚的質問応答、視覚的理解、推論などのタスクにおいて顕著な性能を示す。 モデルサイズと高いトレーニングと推論コストが、MLLMのアカデミックや産業への応用を妨げている。 本調査は,効率的なMLLMの現状を包括的かつ体系的に概観するものである。
  論文  参考訳（メタデータ） (2024-05-17T12:37:10Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• An Empirical Study on Large Language Models in Accuracy and Robustness under Chinese Industrial Scenarios [14.335979063157522]
  大規模言語モデル(LLM)の将来の重要な応用の1つは、工業生産における実践的な展開である。 中国工業生産地域におけるLCMの精度とロバスト性に関する総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-01-27T03:37:55Z)
• Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey on Emerging Trends in Multimodal Reasoning [44.12214030785711]
  マルチモーダル大言語モデル(MLLM)のフロンティアを分類・記述し、既存のマルチモーダル推論の評価プロトコルについて概観する。 本稿では,MLLMの推論集約型タスクへの適用動向を紹介するとともに,現在の実践と今後の方向性について論じる。
  論文  参考訳（メタデータ） (2024-01-10T15:29:21Z)
• Mixed Distillation Helps Smaller Language Model Better Reasoning [27.934081882868902]
  本稿では,大規模言語モデル (LLM) におけるプログラム・オブ・シント (PoT) とチェーン・オブ・シント (CoT) の強みを生かした混合蒸留 (MD) フレームワークを紹介する。 実験の結果, MDは, 様々なタスクにおいて, より小さなモデルのシングルパスとマルチパス推論能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-12-17T14:28:28Z)
• Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection [86.24898024621008]
  産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデルを提案する(略してMyriad)。 我々は,視覚専門家が生成する異常マップをLMMのガイダンスとして利用し,視覚モデルが異常領域により多くの注意を払うように誘導する。 提案手法は最先端の手法に対して良好に機能するだけでなく,IAD分野におけるLMMの柔軟性や命令追従性を継承する。
  論文  参考訳（メタデータ） (2023-10-29T16:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。