論文の概要: Context-Awareness and Interpretability of Rare Occurrences for Discovery and Formalization of Critical Failure Modes

• arxiv url: http://arxiv.org/abs/2504.16117v1
• Date: Fri, 18 Apr 2025 17:12:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.841444
• Title: Context-Awareness and Interpretability of Rare Occurrences for Discovery and Formalization of Critical Failure Modes
• Title（参考訳）: 臨界破壊モードの発見と形式化のための希少事象の文脈認識と解釈可能性
• Authors: Sridevi Polavaram, Xin Zhou, Meenu Ravi, Mohammad Zarei, Anmol Srivastava,
• Abstract要約: 視覚システムは、監視、法執行、交通といった重要な領域にますます配備されている。 これらの課題に対処するために,レアオカレンス(CAIRO)の文脈認識と解釈可能性を導入する。 CAIROは、AIブラックボックスモデルにおける誤検出、敵攻撃、幻覚から生じる臨界性のテストと評価のために、ループ内の人間にインセンティブを与える。
• 参考スコア（独自算出の注目度）: 3.140125449151061
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision systems are increasingly deployed in critical domains such as surveillance, law enforcement, and transportation. However, their vulnerabilities to rare or unforeseen scenarios pose significant safety risks. To address these challenges, we introduce Context-Awareness and Interpretability of Rare Occurrences (CAIRO), an ontology-based human-assistive discovery framework for failure cases (or CP - Critical Phenomena) detection and formalization. CAIRO by design incentivizes human-in-the-loop for testing and evaluation of criticality that arises from misdetections, adversarial attacks, and hallucinations in AI black-box models. Our robust analysis of object detection model(s) failures in automated driving systems (ADS) showcases scalable and interpretable ways of formalizing the observed gaps between camera perception and real-world contexts, resulting in test cases stored as explicit knowledge graphs (in OWL/XML format) amenable for sharing, downstream analysis, logical reasoning, and accountability.
• Abstract（参考訳）: 視覚システムは、監視、法執行、交通といった重要な領域にますます配備されている。 しかし、まれまたは予期せぬシナリオに対する脆弱性は、重大な安全性のリスクを引き起こす。 これらの課題に対処するために、我々は、障害事例(CP-Critical Phenomena)の検出と形式化のためのオントロジーに基づくヒューマン・アシスタンス・ディスカバリ・フレームワークCAIRO(Context-Awareness and Interpretability of Rare Occurrences)を紹介した。 設計によるCAIROは、AIブラックボックスモデルにおける誤検出、敵攻撃、幻覚から生じる臨界性のテストと評価のために、ループ内の人間にインセンティブを与える。 自動走行システム(ADS)におけるオブジェクト検出モデル失敗の堅牢な分析は、カメラの認識と実世界のコンテキストの間に観測されたギャップを形式化するためのスケーラブルで解釈可能な方法を示し、その結果、露骨な知識グラフ(OWL/XMLフォーマット)として格納されたテストケースが、共有、下流分析、論理的推論、説明責任に寄与することを示す。

関連論文リスト

• RealHarm: A Collection of Real-World Language Model Application Failures [1.2820953788225848]
  我々は、AIエージェントとの注釈付き問題相互作用のデータセットであるRealHarmを紹介する。 我々は、特にデプロイ者の視点から、害、原因、危険を分析します。 我々は,現状のガードレールとコンテンツモデレーションシステムを評価し,そのようなシステムが事故を防いだかどうかを調査した。
  論文  参考訳（メタデータ） (2025-04-14T14:44:41Z)
• Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions [49.546479320670464]
  本稿では,セグメンテーションモデルの空間的ロバスト性を評価するための特別な指標を紹介する。 本稿では,モデルロバスト性をより深く理解する手法として,地域対応型マルチアタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック分析を提案する。 その結果、モデルがこれらの2種類の脅威に異なる反応を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-02T11:37:39Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• A Survey and Evaluation of Adversarial Attacks for Object Detection [11.48212060875543]
  深層学習モデルは、信頼できるが誤った予測をすることを欺くような敵対的な例に対して脆弱である。 この脆弱性は、自動運転車、セキュリティ監視、安全クリティカルな検査システムなどの高リスクなアプリケーションに重大なリスクをもたらす。 本稿では,対象検出アーキテクチャに特有の敵攻撃を分類するための新しい分類枠組みを提案する。
  論文  参考訳（メタデータ） (2024-08-04T05:22:08Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Understanding Object Detection Through An Adversarial Lens [14.976840260248913]
  本稿では, 対向レンズ下での深部物体検出装置の脆弱性を分析し評価するための枠組みを提案する。 提案手法は, リアルタイムオブジェクト検出システムにおいて, 対向行動やリスクを解析するための方法論的ベンチマークとして機能することが実証された。 我々は、このフレームワークが、現実世界のアプリケーションにデプロイされるディープオブジェクト検出器のセキュリティリスクと敵の堅牢性を評価するツールとしても役立つと推測する。
  論文  参考訳（メタデータ） (2020-07-11T18:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。