論文の概要: JUDO: A Juxtaposed Domain-Oriented Multimodal Reasoner for Industrial Anomaly QA
- arxiv url: http://arxiv.org/abs/2605.20284v1
- Date: Tue, 19 May 2026 05:57:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.267201
- Title: JUDO: A Juxtaposed Domain-Oriented Multimodal Reasoner for Industrial Anomaly QA
- Title(参考訳): JUDO: 産業異常QAのためのドメイン指向マルチモーダル共振器
- Abstract要約: 大規模マルチモーダルモデル(LMM)により産業異常検出が大幅に進歩した
LMMにはドメイン固有の知識がなく、複雑な産業シナリオで正確な応答を生成する能力に制限がある。
本稿では,ドメイン知識とコンテキストを視覚的およびテキスト的推論に効率的に組み込むフレームワークであるJUDOを紹介する。
- 参考スコア(独自算出の注目度): 11.208334935002066
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Industrial anomaly detection has been significantly advanced by Large Multimodal Models (LMMs), enabling diverse human instructions beyond detection, particularly through visually grounded reasoning for better image understanding. However, LMMs lack domain-specific knowledge, which limits their ability to generate accurate responses in complex industrial scenarios. In this work, we present JUDO, Juxtaposed Domain-Oriented Multimodal Reasoner, a framework that efficiently incorporates domain knowledge and context in visual and textual reasoning. Through visual reasoning, our model segments the defect region by juxtaposing query images with normal images as visual domain context, enabling a fine-grained visual comparative inspection. Furthermore, we inject domain knowledge through supervised fine-tuning (SFT) to enhance context understanding and subsequently guide domain reasoning through reinforcement learning (GRPO) with tailored rewards, opting for a domain-oriented reasoning process. Experimental results demonstrate that JUDO achieves superior performance on the MMAD benchmark, surpassing models such as Qwen2.5-VL-7B and GPT-4o. These results highlight the importance of enhancing domain knowledge and context for effective reasoning in anomaly understanding.
- Abstract(参考訳): 産業的異常検出はLMM(Large Multimodal Models)によって大幅に進歩し、検出を超えた多様な人間の指示を可能にする。
しかし、LMMにはドメイン固有の知識がなく、複雑な産業シナリオにおいて正確な応答を生成する能力に制限がある。
本稿では,ドメイン知識とコンテキストを視覚的およびテキスト的推論に効率的に組み込むフレームワークであるJUDOについて述べる。
視覚的推論により,本モデルでは,クエリ画像と通常の画像とを視覚的領域コンテキストとして重畳することにより,欠陥領域を分割し,詳細な視覚的比較検査を可能にする。
さらに、教師付き微調整(SFT)によりドメイン知識を注入し、コンテキスト理解を強化し、その後、強化学習(GRPO)を通じてドメイン推論を誘導し、ドメイン指向の推論プロセスを選択する。
実験の結果,JUDO は Qwen2.5-VL-7B や GPT-4o を上回り,MMAD ベンチマークで優れた性能を示した。
これらの結果は、異常理解における効果的な推論のためのドメイン知識と文脈の強化の重要性を浮き彫りにする。
関連論文リスト
- CoDA: Towards Effective Cross-domain Knowledge Transfer via CoT-guided Domain Adaptation [19.983703249735576]
大規模言語モデル(LLM)は論理的推論において大きな進歩を遂げているが、人間レベルの性能には遅れが続いている。
コンテキスト内学習(In-context learning)は、専門家がキュレートしたドメイン内見習いによる入力を促すことによって、モデルのパフォーマンスを高める実行可能なソリューションを提供する。
中間隠蔽状態に直接干渉する軽量なアダプタを用いたCoDAを提案する。
論文 参考訳(メタデータ) (2026-04-21T14:10:37Z) - Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts [58.86896791968143]
MoE(Multimodal Mixture-of-Experts)モデルは視覚言語タスクにおいて顕著なパフォーマンスを実現している。
モデルは画像の内容が正確に知覚されるが、その後の推論では失敗する。
本稿では,視覚的な入力を処理する際に,タスク関連推論の専門家を適切に活性化できないという,ルーティング・ディトラクションの仮説を提案する。
論文 参考訳(メタデータ) (2026-04-09T17:59:44Z) - Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。
結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。
マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
論文 参考訳(メタデータ) (2026-04-08T07:48:07Z) - AD-Copilot: A Vision-Language Assistant for Industrial Anomaly Detection via Visual In-context Comparison [89.0720931534819]
産業異常検出(IAD)に特化した対話型MLLMAD-Copilotを提案する。
我々はまず,少ないラベル付き産業画像から検査知識を抽出するために,新しいデータパイプラインを設計する。
次に、キャプション、VQA、欠陥局所化の正確なサンプルを生成し、IADのセマンティック信号に富んだ大規模マルチモーダル比較-ADを生成する。
実験の結果、AD-CopilotはMMADベンチマークで82.3%の精度を達成し、データ漏洩のない他のモデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2026-03-14T06:14:44Z) - Reasoning-Driven Multimodal LLM for Domain Generalization [72.00754603114187]
DomainBed-Reasoning データセットを用いた領域一般化における推論の役割について検討する。
MTCT(Multi-Task Cross-Training)とSARR(Self-Aligned Reasoning Regularization)の2つのコンポーネントからなるフレームワークであるRD-MLDGを提案する。
標準のDomainBedデータセットの実験は、RD-MLDGが補完的な最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2026-02-27T08:10:06Z) - Learning Domain Knowledge in Multimodal Large Language Models through Reinforcement Fine-Tuning [38.73465144699025]
入力レベルのドメイン知識注入は、科学的なマルチモーダルタスクにおいてほとんど、あるいは全く改善しないことを示す。
本稿では,ドメイン知識を直接学習対象に組み込む強化微調整フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-23T03:10:08Z) - OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning [76.90511414963265]
我々は,微粒化解析のための異常検出と理解を統一するフレームワークであるOmniADを紹介した。
ビジュアル推論は、Text-as-Maskを活用することで詳細なインスペクションを提供する。
Visual Guided Textual Reasoningは、視覚知覚を統合することで包括的な分析を行う。
論文 参考訳(メタデータ) (2025-05-28T07:02:15Z) - LogicAD: Explainable Anomaly Detection via VLM-based Text Feature Extraction [4.959108380494595]
自動回帰マルチモーダル視覚言語モデル(AVLM)は、視覚的推論における異常なパフォーマンスのために、将来的な代替手段を提供する。
本研究では,AVLMを用いて論理的異常検出を行い,その課題に適していることを示す。
我々は、AUROCが86.4%、F1-maxが83.7%の公開ベンチマークであるMVTec LOCO ADにおいて、異常の説明とともにSOTA性能を達成する。
論文 参考訳(メタデータ) (2025-01-03T11:40:41Z) - Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection [86.24898024621008]
産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデルを提案する(略してMyriad)。
我々は,視覚専門家が生成する異常マップをLMMのガイダンスとして利用し,視覚モデルが異常領域により多くの注意を払うように誘導する。
提案手法は最先端の手法に対して良好に機能するだけでなく,IAD分野におけるLMMの柔軟性や命令追従性を継承する。
論文 参考訳(メタデータ) (2023-10-29T16:49:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。