論文の概要: EMIT: Enhancing MLLMs for Industrial Anomaly Detection via Difficulty-Aware GRPO
- arxiv url: http://arxiv.org/abs/2507.21619v1
- Date: Tue, 29 Jul 2025 09:18:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 17:08:55.962781
- Title: EMIT: Enhancing MLLMs for Industrial Anomaly Detection via Difficulty-Aware GRPO
- Title（参考訳）: EMIT:Difficulty-Aware GRPOによる産業異常検出のためのMLLMの強化
- Authors: Wei Guan, Jun Lan, Jian Cao, Hao Tan, Huijia Zhu, Weiqiang Wang,
- Abstract要約: 産業的異常検出(IAD)のための大規模言語モデル(MLLM)を強化する統合フレームワークであるEMMを提案する。
EMITはマルチタスクIADデータセットを構築し、GPT生成したオブジェクトテキスト記述を利用して欠陥画像の補正を行う。
数発の異常検出のために、パッチレベルの比較から導かれるソフトプロンプトとヒートマップ誘導のコントラスト埋め込みを統合している。
MMADベンチマークの実験では、EMMはMLLMのIAD性能を大幅に向上し、ベースモデルよりも平均7.77%向上した。
- 参考スコア（独自算出の注目度）: 39.94790536636158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Industrial anomaly detection (IAD) plays a crucial role in maintaining the safety and reliability of manufacturing systems. While multimodal large language models (MLLMs) show strong vision-language reasoning abilities, their effectiveness in IAD remains limited without domain-specific adaptation. In this work, we propose EMIT, a unified framework that enhances MLLMs for IAD via difficulty-aware group relative policy optimization (GRPO). EMIT constructs a multi-task IAD dataset and utilizes GPT-generated object text descriptions to compensate for missing defective images. For few-shot anomaly detection, it integrates a soft prompt and heatmap-guided contrastive embeddings derived from patch-level comparisons. To better handle difficult data samples, i.e., cases where the MLLM struggles to generate correct answers, we propose a difficulty-aware GRPO that extends the original GRPO by incorporating a response resampling strategy to ensure the inclusion of correct answers in the sampled responses, as well as an advantage reweighting mechanism to strengthen learning from such difficult data samples. Extensive experiments on the MMAD benchmark demonstrate that EMIT significantly enhances the IAD performance of MLLMs, achieving an average improvement of 7.77\% over the base model (InternVL3-8B) across seven tasks.
- Abstract（参考訳）: 産業異常検出(IAD)は、製造システムの安全性と信頼性を維持する上で重要な役割を担っている。
マルチモーダル大言語モデル(MLLM)は視覚言語推論能力が強いが、IADにおけるその有効性はドメイン固有の適応なしに制限される。
本研究では,難易度グループ相対ポリシー最適化(GRPO)を通じてIDAのためのMLLMを強化する統一フレームワークであるEMMを提案する。
EMITはマルチタスクIADデータセットを構築し、GPT生成したオブジェクトテキスト記述を利用して欠陥画像の補正を行う。
数発の異常検出のために、パッチレベルの比較から導かれるソフトプロンプトとヒートマップ誘導のコントラスト埋め込みを統合している。
MLLMが正しい回答を生成するのに苦労するケース,すなわち,サンプル回答に正しい回答を確実に含めるための応答再サンプリング戦略と,そのような難しいデータサンプルからの学習を強化するための有利な再重み付け機構を組み込むことにより,オリジナルのGRPOを拡張する難易度対応GRPOを提案する。
MMADベンチマークの大規模な実験により、EMMはMLLMのIAD性能を大幅に向上し、ベースモデル(InternVL3-8B)よりも平均7.77\%向上した。
関連論文リスト
- Group Relative Augmentation for Data Efficient Action Detection [11.169883977958454]
アクション検出にVLM(Big Video-Language Models)を適応させるには、いくつかの例が課題となっている。
パラメータ係数チューニング(LoRA)と新たな学習可能な内部特徴拡張を組み合わせた効率的な適応戦略を提案する。
複雑なマルチラベル・マルチパーソン動作検出データセットに対して,本手法の有効性を示す。
論文 参考訳（メタデータ） (2025-07-28T21:46:05Z) - Heterogeneous Group-Based Reinforcement Learning for LLM-based Multi-Agent Systems [25.882461853973897]
本稿では、相対報酬の利点を推定して政策更新を導くマルチエージェント不均一グループ政策最適化(MHGPO)を提案する。
MHGPOは、批判的ネットワークの必要性を排除し、安定性を向上し、計算オーバーヘッドを減らす。
また,効率性と有効性を両立させる3つのグループロールアウトサンプリング戦略も導入する。
論文 参考訳（メタデータ） (2025-06-03T10:17:19Z) - MSDA: Combining Pseudo-labeling and Self-Supervision for Unsupervised Domain Adaptation in ASR [59.83547898874152]
本稿では,自己教師付き学習と半教師付き技術を統合する,サンプル効率のよい2段階適応手法を提案する。
MSDAは、ASRモデルの堅牢性と一般化を強化するように設計されている。
本稿では,メタPLがASRタスクに効果的に適用可能であることを示す。
論文 参考訳（メタデータ） (2025-05-30T14:46:05Z) - AnomalyR1: A GRPO-based End-to-end MLLM for Industrial Anomaly Detection [40.34270276536052]
産業異常検出(IAD)は、欠陥サンプルの不足により深刻な課題となる。
従来のアプローチは、手作りの機能やドメイン固有のエキスパートモデルによって制約されることが多いが、この制限に対処するのに苦労している。
本稿では,マルチモーダル大規模言語モデル(MLLM)であるVLM-R1を活用する先駆的フレームワークであるAnomalyR1を紹介する。
論文 参考訳（メタデータ） (2025-04-16T09:48:41Z) - An Empirical Study of Conformal Prediction in LLM with ASP Scaffolds for Robust Reasoning [52.29223403698673]
本稿では, Answer Set Programming (ASP) とともに, Conformal Language Modelling (CLM) の使用について検討する。
LLM から ASP プログラムの集合を生成するために CLM を適用し,出力の正確性に関する統計的保証を提供する。
実験の結果,標準サンプリング手法を用いたベースラインモデルではCLMが有意に優れていた。
論文 参考訳（メタデータ） (2025-03-07T14:10:10Z) - RAAD-LLM: Adaptive Anomaly Detection Using LLMs and RAG Integration [2.879328762187361]
本稿では,適応型異常検出のための新しいフレームワークであるRAAD-LLMを提案する。
ドメイン固有の知識を効果的に活用することにより、RAAD-LLMは時系列データにおける異常の検出を強化する。
実際のデータセットでは,70.7%から88.6%に精度が向上した。
論文 参考訳（メタデータ） (2025-03-04T17:20:43Z) - Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [61.99353167168545]
LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。
微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
論文 参考訳（メタデータ） (2025-01-24T08:18:56Z) - AgentPS: Agentic Process Supervision for Content Moderation with Multimodal LLMs [9.35901507816989]
本稿では,Agentic Process Supervisionを大規模言語モデルに統合するフレームワークであるAgentPSを紹介する。
我々は、AgentPSが、公開ベンチマークとプロプライエタリデータセットのベースラインMLLMよりも大幅に改善されていることを示す。
これらの結果は、大規模産業アプリケーションにおける複雑なマルチモーダル分類のためのスケーラブルで効果的なソリューションとして、AgentPSを確立している。
論文 参考訳（メタデータ） (2024-12-15T04:58:00Z) - R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。
タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。
本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
論文 参考訳（メタデータ） (2024-11-27T10:57:06Z) - mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。
我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。
mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
論文 参考訳（メタデータ） (2024-11-22T16:15:50Z) - Adapting Large Multimodal Models to Distribution Shifts: The Role of In-Context Learning [41.59855801010565]
大規模マルチモーダルモデル(LMM)は汎用アシスタントとして機能し、異なる分布に対して非常に堅牢である。
それにもかかわらず、特に医療のような専門分野において、ドメイン固有の適応は依然として必要である。
本研究は,LMMの適応性向上のための効果的な代替手段として,文脈内学習(ICL)について検討する。
論文 参考訳（メタデータ） (2024-05-20T17:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。