論文の概要: JUDO: A Juxtaposed Domain-Oriented Multimodal Reasoner for Industrial Anomaly QA
- arxiv url: http://arxiv.org/abs/2605.20284v1
- Date: Tue, 19 May 2026 05:57:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.267201
- Title: JUDO: A Juxtaposed Domain-Oriented Multimodal Reasoner for Industrial Anomaly QA
- Title(参考訳): JUDO: 産業異常QAのためのドメイン指向マルチモーダル共振器
- Authors: Hyunju Kang, Woohyun Lee, Jaewon Kim, Hogun Park,
- Abstract要約: 大規模マルチモーダルモデル(LMM)により産業異常検出が大幅に進歩した
LMMにはドメイン固有の知識がなく、複雑な産業シナリオで正確な応答を生成する能力に制限がある。
本稿では,ドメイン知識とコンテキストを視覚的およびテキスト的推論に効率的に組み込むフレームワークであるJUDOを紹介する。
- 参考スコア(独自算出の注目度): 11.208334935002066
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Industrial anomaly detection has been significantly advanced by Large Multimodal Models (LMMs), enabling diverse human instructions beyond detection, particularly through visually grounded reasoning for better image understanding. However, LMMs lack domain-specific knowledge, which limits their ability to generate accurate responses in complex industrial scenarios. In this work, we present JUDO, Juxtaposed Domain-Oriented Multimodal Reasoner, a framework that efficiently incorporates domain knowledge and context in visual and textual reasoning. Through visual reasoning, our model segments the defect region by juxtaposing query images with normal images as visual domain context, enabling a fine-grained visual comparative inspection. Furthermore, we inject domain knowledge through supervised fine-tuning (SFT) to enhance context understanding and subsequently guide domain reasoning through reinforcement learning (GRPO) with tailored rewards, opting for a domain-oriented reasoning process. Experimental results demonstrate that JUDO achieves superior performance on the MMAD benchmark, surpassing models such as Qwen2.5-VL-7B and GPT-4o. These results highlight the importance of enhancing domain knowledge and context for effective reasoning in anomaly understanding.
- Abstract(参考訳): 産業的異常検出はLMM(Large Multimodal Models)によって大幅に進歩し、検出を超えた多様な人間の指示を可能にする。
しかし、LMMにはドメイン固有の知識がなく、複雑な産業シナリオにおいて正確な応答を生成する能力に制限がある。
本稿では,ドメイン知識とコンテキストを視覚的およびテキスト的推論に効率的に組み込むフレームワークであるJUDOについて述べる。
視覚的推論により,本モデルでは,クエリ画像と通常の画像とを視覚的領域コンテキストとして重畳することにより,欠陥領域を分割し,詳細な視覚的比較検査を可能にする。
さらに、教師付き微調整(SFT)によりドメイン知識を注入し、コンテキスト理解を強化し、その後、強化学習(GRPO)を通じてドメイン推論を誘導し、ドメイン指向の推論プロセスを選択する。
実験の結果,JUDO は Qwen2.5-VL-7B や GPT-4o を上回り,MMAD ベンチマークで優れた性能を示した。
これらの結果は、異常理解における効果的な推論のためのドメイン知識と文脈の強化の重要性を浮き彫りにする。
関連論文リスト
- Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts [58.86896791968143]
MoE(Multimodal Mixture-of-Experts)モデルは視覚言語タスクにおいて顕著なパフォーマンスを実現している。
モデルは画像の内容が正確に知覚されるが、その後の推論では失敗する。
本稿では,視覚的な入力を処理する際に,タスク関連推論の専門家を適切に活性化できないという,ルーティング・ディトラクションの仮説を提案する。
論文 参考訳(メタデータ) (2026-04-09T17:59:44Z) - Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。
結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。
マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
論文 参考訳(メタデータ) (2026-04-08T07:48:07Z) - Learning Domain Knowledge in Multimodal Large Language Models through Reinforcement Fine-Tuning [38.73465144699025]
入力レベルのドメイン知識注入は、科学的なマルチモーダルタスクにおいてほとんど、あるいは全く改善しないことを示す。
本稿では,ドメイン知識を直接学習対象に組み込む強化微調整フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-23T03:10:08Z) - OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning [76.90511414963265]
我々は,微粒化解析のための異常検出と理解を統一するフレームワークであるOmniADを紹介した。
ビジュアル推論は、Text-as-Maskを活用することで詳細なインスペクションを提供する。
Visual Guided Textual Reasoningは、視覚知覚を統合することで包括的な分析を行う。
論文 参考訳(メタデータ) (2025-05-28T07:02:15Z) - Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection [86.24898024621008]
産業異常検出に視覚専門家を適用した新しい大規模マルチモーダルモデルを提案する(略してMyriad)。
我々は,視覚専門家が生成する異常マップをLMMのガイダンスとして利用し,視覚モデルが異常領域により多くの注意を払うように誘導する。
提案手法は最先端の手法に対して良好に機能するだけでなく,IAD分野におけるLMMの柔軟性や命令追従性を継承する。
論文 参考訳(メタデータ) (2023-10-29T16:49:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。