Fugu-MT 論文翻訳(概要): RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants

論文の概要: RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants

arxiv url: http://arxiv.org/abs/2607.16243v1
Date: Fri, 26 Jun 2026 09:15:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.053039
Title: RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants
Title（参考訳）: RobustMAD:デプロイ可能な異常検出アシスタントのためのマルチモーダル小言語モデルの実世界ロバスト性の評価
Abstract要約: マルチモーダル産業異常検査アシスタントは,次世代スマートファクトリの重要な構成要素である。 MSLMはデプロイ可能な代替手段を提供するが、包括的な堅牢性分析の欠如によって進歩は制限されている。我々はロバストMADを開発し、多様なオープンエンドクエリによるモデルロバスト性を評価する。
参考スコア（独自算出の注目度）: 48.63201300674347
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multimodal industrial anomaly inspection assistants are a critical component of next-generation smart factories, enabling interactive vision-language-based querying. However, multimodal large language models remain impractical for on-site deployment due to prohibitive computational demands and privacy risks from cloud-based inference. Compact multimodal small language models (MSLMs) offer a deployable alternative, yet progress is constrained by the lack of comprehensive robustness analyses and meaningfully challenging benchmarks that reflect real-world industrial conditions. To address this gap, we develop RobustMAD, the first deployment-motivated benchmark, designed to comprehensively evaluate model robustness through diverse open-ended queries spanning object understanding, anomaly detection, unanswerable problems, and visual quality degradations. Contrary to conventional assumptions, top-performing MSLMs exhibit promising capabilities, surprisingly outperforming even the larger GPT-5 Nano. However, they still fall short of safety-critical requirements, and RobustMAD reveals critical robustness gaps that pose operational risks. In particular, three recurring failure modes emerge: (i) fragile multimodal grounding under fine-grained distinctions or degraded visual conditions, (ii) insufficiently comprehensive responses, and (iii) weak logical grounding on unanswerable or ill-posed queries, leading to hallucinated outputs. Grounded in these insights, we provide actionable guidance for the design of next-generation multimodal industrial inspection assistants that leverage their promising competence. Code is available at https://github.com/en-research/RobustMAD.
Abstract（参考訳）: マルチモーダル産業異常検査アシスタントは、次世代スマートファクトリの重要なコンポーネントであり、インタラクティブな視覚言語ベースのクエリを可能にする。しかし、マルチモーダルな大規模言語モデルは、クラウドベースの推論による計算要求の禁止とプライバシリスクのため、オンサイト展開において実用的ではないままである。コンパクトなマルチモーダル小言語モデル(MSLM)は、デプロイ可能な代替手段を提供するが、包括的な堅牢性分析の欠如と、実世界の産業条件を反映した有意義なベンチマークによって、進歩は制限されている。このギャップに対処するために、オブジェクトの理解、異常検出、解決不可能な問題、視覚的品質劣化を対象とする多様なオープンエンドクエリにより、モデルロバスト性を包括的に評価する、最初のデプロイメントモチベーション付きベンチマークであるRobostMADを開発した。従来の仮定とは対照的に、最高性能のMSLMは有望な能力を示し、より大きなGPT-5 Nanoよりも驚くほど優れています。しかし、それらは依然として安全クリティカルな要件に欠けており、RobustMADは運用上のリスクを引き起こす重要な堅牢性ギャップを明らかにしている。特に、繰り返し発生する障害モードが3つ現れます。一きめ細かな区別又は劣化した視覚条件下での脆弱なマルチモーダルグラウンド (二)網羅的な対応が不十分で、 (三)解答不能又は不備な問合せに基づく論理的根拠の弱さにより、幻覚的出力が生じる。これらの知見に基づき、我々は、期待できる能力を活用する次世代のマルチモーダル産業検査アシスタントの設計のための実用的なガイダンスを提供する。コードはhttps://github.com/en-research/RobustMADで入手できる。

関連論文リスト

M3-AD: Reflection-aware Multi-modal, Multi-category, and Multi-dimensional Benchmark and Framework for Industrial Anomaly Detection [87.27067827385599]
M3-ADは産業的異常検出のための統合リフレクション対応フレームワークである。 RA-Monitorは、初期判断が信頼できない場合に、制御された自己補正を行うようにモデルをガイドする。
論文参考訳（メタデータ） (2026-02-10T07:20:19Z)
PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
論文参考訳（メタデータ） (2025-12-22T12:49:12Z)
LTD-Bench: Evaluating Large Language Models by Letting Them Draw [57.237152905238084]
LTD-Benchは、大規模言語モデル(LLM)のブレークスルーベンチマークである。 LLMの評価を抽象的なスコアから直接観察可能な視覚出力に変換する。 LTD-Benchの視覚出力は強力な診断分析を可能にし、モデル類似性を調べるための潜在的アプローチを提供する。
論文参考訳（メタデータ） (2025-11-04T08:11:23Z)
Agent-ScanKit: Unraveling Memory and Reasoning of Multimodal Agents via Sensitivity Perturbations [34.15274225730601]
制御摂動下でのマルチモーダルエージェントの記憶と推論能力を解明するための textbfAgent-ScanKit を提案する。その結果,機械的記憶が体系的推論より優れていることが示唆された。本研究は,実環境におけるマルチモーダルエージェントのロバスト推論モデルの必要性を明らかにするものである。
論文参考訳（メタデータ） (2025-10-01T04:29:39Z)
Understanding and Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding [59.50808215134678]
この研究では、23の最先端のビデオLLMを評価する最初の総合的なベンチマークであるTrust-videoLLMを紹介した。その結果、動的シーン理解、クロスモーダルレジリエンス、現実世界のリスク軽減において、大きな制限が示された。
論文参考訳（メタデータ） (2025-06-14T04:04:54Z)
Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models [26.005367102695317]
マルチモーダル大規模言語モデルでは,非関連信号とタスク関連情報を区別することが困難である。無関係なモダリティからの急激な情報は、しばしば大幅な性能低下をもたらすことを示す。本稿では,摂動と対向的摂動を併用した摂動に基づくデータ拡張を含む,MLLMを微調整する新しい枠組みを提案する。
論文参考訳（メタデータ） (2025-05-26T07:31:32Z)
MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
論文参考訳（メタデータ） (2025-03-24T20:38:42Z)
EIAD: Explainable Industrial Anomaly Detection Via Multi-Modal Large Language Models [23.898938659720503]
工業異常検出(IAD)は製造中の製品品質を確保するために重要である。本稿では,コア特徴抽出からダイアログ機能を分離する専用マルチモーダル欠陥ローカライゼーションモジュールを提案する。私たちはまた、Defect Detection Question Answering (DDQA) という、最初のマルチモーダル産業異常検出トレーニングデータセットにも貢献する。
論文参考訳（メタデータ） (2025-03-18T11:33:29Z)
Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models [26.17300490736624]
MLLM(Multimodal Large Language Models)は、一貫した視覚・テキスト入力で主に訓練され、テストされる。本稿では,MLLMの意味的ミスマッチの検出と推論能力を評価するためのマルチモーダル不整合推論ベンチマークを提案する。我々は6つの最先端MLLMを評価し、o1のような専用マルチモーダル推論能力を持つモデルは、その性能を大幅に上回っていることを示す。
論文参考訳（メタデータ） (2025-02-22T01:52:37Z)
Can Multimodal Large Language Models be Guided to Improve Industrial Anomaly Detection? [5.979778557940213]
従来の産業異常検出モデルは、しばしば柔軟性と適応性に苦しむ。 MLLM(Multimodal Large Language Models)の最近の進歩は、これらの制限を克服することを約束している。 IADのためのMLLM性能を向上させるために設計された,新しいマルチエキスパートフレームワークであるEchoを提案する。
論文参考訳（メタデータ） (2025-01-27T05:41:10Z)
Benchmarking Large and Small MLLMs [71.78055760441256]
大規模なマルチモーダル言語モデル(MLLM)は、マルチモーダルコンテンツの理解と生成において顕著な進歩を遂げている。しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。 LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMは、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。
論文参考訳（メタデータ） (2025-01-04T07:44:49Z)
MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
論文参考訳（メタデータ） (2024-06-11T08:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。