論文の概要: Towards Trustworthy and Explainable AI for Perception Models: From Concept to Prototype Vehicle Deployment
- arxiv url: http://arxiv.org/abs/2605.16087v2
- Date: Fri, 22 May 2026 09:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:19.972098
- Title: Towards Trustworthy and Explainable AI for Perception Models: From Concept to Prototype Vehicle Deployment
- Title（参考訳）: 知覚モデルのための信頼性と説明可能なAIを目指して:概念からプロトタイプの車両展開へ
- Authors: Till Beemelmanns, Shayan Sharifi, Manas Mehrotra, Ayushman Choudhuri, Lutz Eckstein,
- Abstract要約: ディープニューラルネットワークは、自律運転の認識において支配的なソリューションとなっているが、その不透明度は、新たな信頼できるAIガイドラインと矛盾している。
我々は,極めて堅牢で,忠実な説明可能性と不確実性を考慮した信頼に値するAI認識モジュールを提案する。
実験では、忠実な正当性行動、堅牢性の改善、そしてよく校正された不確実性推定が示される。
- 参考スコア（独自算出の注目度）: 0.9786690381850356
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep Neural Networks have become the dominant solution for Autonomous Driving perception, but their opacity conflicts with emerging Trustworthy AI guidelines and complicates safety assurance, debugging, and human oversight. While theoretical frameworks for safe and Explainable AI (XAI) exist, concrete implementations of Trustworthy AI for 3D scene understanding remain scarce. We address this gap by proposing a Trustworthy AI perception module that is remarkably robust, integrates faithful explainability, and calibrated uncertainty estimates. Building on a transformer-based detector, we derive explanation from the attention mechanism at inference time and validate their faithfulness using perturbation-based consistency tests. We further integrate an uncertainty estimation and calibration module, and apply robustness-enhancing training methods. Experiments show faithful saliency behavior, improved robustness, and well-calibrated uncertainty estimates. Finally, we deploy these Trustworthy AI elements in a prototype vehicle and provide an XAI Interface that visualizes documentation artifacts, model uncertainty state, and saliency maps, demonstrating the feasibility of trustworthy perception monitoring in real time. Supplementary materials are available at https://tillbeemelmanns.github.io/trustworthy_ai/ .
- Abstract（参考訳）: ディープニューラルネットワークは、自律運転の知覚において支配的なソリューションとなっているが、その不透明さは、新たな信頼できるAIガイドラインと矛盾し、安全性の保証、デバッグ、人間の監視を複雑にする。
安全で説明可能なAI(XAI)の理論フレームワークは存在するが、3Dシーン理解のためのTrustworthy AIの具体的な実装は依然として少ない。
我々は、非常に堅牢で、忠実な説明可能性を統合し、不確実性の推定を校正する、信頼できるAI知覚モジュールを提案することで、このギャップに対処する。
変圧器をベースとした検出器を構築, 推定時の注意機構から説明し, 摂動型整合性試験を用いてその忠実さを検証した。
さらに不確実性推定と校正モジュールを統合し,ロバストネス向上トレーニング手法を適用した。
実験では、忠実な正当性行動、堅牢性の改善、そしてよく校正された不確実性推定が示される。
最後に、これらTrustworthy AI要素をプロトタイプ車両にデプロイし、ドキュメントのアーティファクト、モデル不確実性状態、およびサリエンシマップを可視化するXAIインターフェースを提供し、信頼に値する認識監視をリアルタイムで実現可能であることを実証する。
追加資料はhttps://tillbeemelmanns.github.io/trustworthy_ai/で公開されている。
関連論文リスト
- From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。
3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。
この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
論文 参考訳（メタデータ） (2026-01-22T06:21:31Z) - Interpretability as Alignment: Making Internal Understanding a Design Principle [3.6704226968275253]
解釈可能性(Interpretability)は、アウトプットを駆動する計算を明らかにすることによって、内部透明性への道筋を提供する。
我々は、解釈可能性、特に機械的アプローチは、補助的な診断ツールではなく、アライメントのための設計原則として扱うべきであると論じている。
論文 参考訳（メタデータ） (2025-09-10T13:45:59Z) - On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました
埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。
提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
論文 参考訳（メタデータ） (2024-11-21T09:46:55Z) - XAI-based Feature Ensemble for Enhanced Anomaly Detection in Autonomous Driving Systems [1.3022753212679383]
本稿では,複数の Explainable AI (XAI) メソッドを統合する新しい機能アンサンブルフレームワークを提案する。
このフレームワークは、6つの多様なAIモデルにまたがって、これらのXAIメソッドによって識別されるトップ機能を融合することによって、異常の検出に不可欠な堅牢で包括的な機能のセットを生成する。
我々の技術は、AIモデルの精度、堅牢性、透明性の向上を示し、より安全で信頼性の高い自動運転システムに貢献します。
論文 参考訳（メタデータ） (2024-10-20T14:34:48Z) - When Can You Trust Your Explanations? A Robustness Analysis on Feature Importances [42.36530107262305]
説明の堅牢性は、システムと提供された説明の両方を信頼する上で、中心的な役割を果たす。
本稿では,非対向摂動に対するニューラルネットワーク説明の頑健さを解析するための新しいアプローチを提案する。
さらに,様々な説明を集約するアンサンブル手法を提案し,モデルの決定を理解し,頑健さを評価することによって,説明の融合がいかに有用かを示す。
論文 参考訳（メタデータ） (2024-06-20T14:17:57Z) - Automatic AI controller that can drive with confidence: steering vehicle with uncertainty knowledge [3.131134048419781]
本研究は,機械学習フレームワークを用いた車両の横方向制御システムの開発に焦点をあてる。
確率論的学習モデルであるベイズニューラルネットワーク(BNN)を用いて不確実性定量化に対処する。
信頼しきい値を確立することで、手動による介入をトリガーし、安全なパラメータの外で動作した場合に、制御がアルゴリズムから解放されることを保証できます。
論文 参考訳（メタデータ） (2024-04-24T23:22:37Z) - NeuralSentinel: Safeguarding Neural Network Reliability and
Trustworthiness [0.0]
我々は,AIモデルの信頼性と信頼性を検証するツールであるNeuralSentinel(NS)を提案する。
NSは、モデル決定を理解することによって、専門家以外のスタッフがこの新しいシステムに対する信頼を高めるのに役立つ。
このツールはハッカソンイベントにデプロイされ、皮膚がん画像検出器の信頼性を評価するために使用された。
論文 参考訳（メタデータ） (2024-02-12T09:24:34Z) - A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。
賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
論文 参考訳（メタデータ） (2023-10-20T14:41:46Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - Designing for Responsible Trust in AI Systems: A Communication
Perspective [56.80107647520364]
我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。
私たちは、AIシステムの能力として透明性とインタラクションを強調します。
我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
論文 参考訳（メタデータ） (2022-04-29T00:14:33Z) - Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and
Goals of Human Trust in AI [55.4046755826066]
我々は、社会学の対人信頼(すなわち、人間の信頼)に着想を得た信頼のモデルについて議論する。
ユーザとAIの間の信頼は、暗黙的あるいは明示的な契約が保持する信頼である。
我々は、信頼できるAIの設計方法、信頼が浮かび上がったかどうか、保証されているかどうかを評価する方法について論じる。
論文 参考訳（メタデータ） (2020-10-15T03:07:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。