論文の概要: Decoding the Multimodal Maze: A Systematic Review on the Adoption of Explainability in Multimodal Attention-based Models
- arxiv url: http://arxiv.org/abs/2508.04427v1
- Date: Wed, 06 Aug 2025 13:14:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.732247
- Title: Decoding the Multimodal Maze: A Systematic Review on the Adoption of Explainability in Multimodal Attention-based Models
- Title（参考訳）: マルチモーダル迷路の復号:マルチモーダル注意モデルにおける説明可能性の導入に関する体系的レビュー
- Authors: Md Raisul Kibria, Sébastien Lafond, Janan Arslan,
- Abstract要約: この体系的な文献レビューは、マルチモーダルモデルの説明可能性に焦点を当てた2020年1月から2024年初頭に発表された研究を分析している。
マルチモーダル環境におけるXAIの評価手法は, ほぼ非体系的であり, 一貫性, 堅牢性, モダリティ特有の認知的・文脈的要因の考慮が欠如していることが判明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal learning has witnessed remarkable advancements in recent years, particularly with the integration of attention-based models, leading to significant performance gains across a variety of tasks. Parallel to this progress, the demand for explainable artificial intelligence (XAI) has spurred a growing body of research aimed at interpreting the complex decision-making processes of these models. This systematic literature review analyzes research published between January 2020 and early 2024 that focuses on the explainability of multimodal models. Framed within the broader goals of XAI, we examine the literature across multiple dimensions, including model architecture, modalities involved, explanation algorithms and evaluation methodologies. Our analysis reveals that the majority of studies are concentrated on vision-language and language-only models, with attention-based techniques being the most commonly employed for explanation. However, these methods often fall short in capturing the full spectrum of interactions between modalities, a challenge further compounded by the architectural heterogeneity across domains. Importantly, we find that evaluation methods for XAI in multimodal settings are largely non-systematic, lacking consistency, robustness, and consideration for modality-specific cognitive and contextual factors. Based on these findings, we provide a comprehensive set of recommendations aimed at promoting rigorous, transparent, and standardized evaluation and reporting practices in multimodal XAI research. Our goal is to support future research in more interpretable, accountable, and responsible mulitmodal AI systems, with explainability at their core.
- Abstract（参考訳）: マルチモーダル学習は近年顕著な進歩を遂げており、特に注意に基づくモデルの統合により、様々なタスクにおいて大きなパフォーマンス向上につながっている。
この進歩と並行して、説明可能な人工知能(XAI)の需要は、これらのモデルの複雑な意思決定プロセスの解釈を目的とした研究の活発化に拍車をかけた。
この体系的な文献レビューは、マルチモーダルモデルの説明可能性に焦点を当てた2020年1月から2024年初頭に発表された研究を分析している。
XAI のより広い目標の範囲内で,モデルアーキテクチャ,モダリティ,説明アルゴリズム,評価手法など,多次元の文献について検討する。
分析の結果,ほとんどの研究は視覚言語と言語のみのモデルに焦点が当てられていることが明らかとなった。
しかしながら、これらの手法は、ドメイン間のアーキテクチャ的不均一性によってさらに複雑化され、モダリティ間の相互作用の完全なスペクトルを捉えるのに不足することが多い。
重要なことは、マルチモーダル設定におけるXAIの評価手法は、主に非体系的であり、一貫性、堅牢性、モダリティ固有の認知的・文脈的要因に対する考慮が欠如していることである。
これらの知見に基づいて,マルチモーダルXAI研究における厳密で透明で,標準化された評価と報告の実践を促進することを目的とした,包括的な勧告セットを提供する。
私たちのゴールは、より解釈可能で説明可能な、責任あるマルチモーダルAIシステムにおける将来の研究を支援することであり、その中核に説明責任があります。
関連論文リスト
- Anomaly Detection and Generation with Diffusion Models: A Survey [51.61574868316922]
異常検出(AD)は、サイバーセキュリティ、金融、医療、工業製造など、さまざまな分野において重要な役割を担っている。
近年のディープラーニング,特に拡散モデル(DM)の進歩は,大きな関心を集めている。
この調査は、研究者や実践者が様々なアプリケーションにまたがる革新的なADソリューションにDMを利用することをガイドすることを目的としている。
論文 参考訳（メタデータ） (2025-06-11T03:29:18Z) - Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models [79.52467430114805]
推論は知性の中心にあり、決定し、結論を導き、ドメインをまたいで一般化する能力を形成する。
人工知能において、システムがオープンで不確実でマルチモーダルな環境でますます機能するにつれて、推論は堅牢で適応的な行動を可能にするために不可欠となる。
大規模マルチモーダル推論モデル(LMRM)は、テキスト、画像、オーディオ、ビデオなどのモダリティを統合し、複雑な推論機能をサポートする、有望なパラダイムとして登場した。
論文 参考訳（メタデータ） (2025-05-08T03:35:23Z) - Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。
大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。
本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
論文 参考訳（メタデータ） (2025-04-04T04:04:56Z) - Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey [124.23247710880008]
マルチモーダルCoT (MCoT) 推論は近年大きな研究の注目を集めている。
既存のMCoT研究は、画像、ビデオ、音声、オーディオ、3D、構造化データの課題に対処する様々な手法を設計している。
我々はMCoT推論に関する最初の体系的な調査を行い、関連する基礎概念と定義を解明する。
論文 参考訳（メタデータ） (2025-03-16T18:39:13Z) - A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
基礎モデルの台頭は機械学習の研究に変化をもたらした。
マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。
本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
論文 参考訳（メタデータ） (2025-02-22T20:55:26Z) - Explainable and Interpretable Multimodal Large Language Models: A Comprehensive Survey [46.617998833238126]
大規模言語モデル(LLM)とコンピュータビジョン(CV)システムは、自然言語理解と視覚処理の進歩を促進する。
これらの技術の収束がマルチモーダルAIの台頭を触媒し、テキスト、ビジョン、オーディオ、ビデオモダリティにまたがるよりリッチでクロスモーダルな理解を可能にした。
マルチモーダル大規模言語モデル(MLLM)は、画像テキスト生成、視覚的質問応答、相互モーダル検索といったタスクにおいて印象的な機能を示す強力なフレームワークとして登場した。
これらの進歩にもかかわらず、MLLMの複雑さと規模は解釈可能性と説明可能性において大きな課題をもたらし、確立に不可欠である。
論文 参考訳（メタデータ） (2024-12-03T02:54:31Z) - A Survey on Multimodal Benchmarks: In the Era of Large AI Models [13.299775710527962]
MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。
この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
論文 参考訳（メタデータ） (2024-09-21T15:22:26Z) - Attribution Regularization for Multimodal Paradigms [7.1262539590168705]
マルチモーダル機械学習は、学習と意思決定プロセスを強化するために、複数のモーダルからの情報を統合することができる。
ユニモーダルモデルは、よりリッチな情報にアクセスできるにもかかわらず、マルチモーダルモデルより優れていることがよく見られる。
本研究は,マルチモーダルモデルの意思決定において,すべてのモーダルからの情報を効果的に活用するための新たな正規化用語を提案する。
論文 参考訳（メタデータ） (2024-04-02T23:05:56Z) - Multimodal Explainable Artificial Intelligence: A Comprehensive Review of Methodological Advances and Future Research Directions [2.35574869517894]
本研究は、MXAI(Multimodal XAI)領域における最近の進歩の分析に焦点をあてる。
MXAIは、主予測と説明タスクに複数のモダリティを含む手法から構成される。
論文 参考訳（メタデータ） (2023-06-09T07:51:50Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳（メタデータ） (2022-03-03T20:52:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。