論文の概要: An Exploratory Study of AI System Risk Assessment from the Lens of Data Distribution and Uncertainty

• arxiv url: http://arxiv.org/abs/2212.06828v1
• Date: Tue, 13 Dec 2022 03:34:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:27:34.608227
• Title: An Exploratory Study of AI System Risk Assessment from the Lens of Data Distribution and Uncertainty
• Title（参考訳）: データ分布と不確かさのレンズを用いたAIシステムのリスク評価に関する探索的研究
• Authors: Zhijie Wang, Yuheng Huang, Lei Ma, Haruki Yokoyama, Susumu Tokumoto, Kazuki Munakata
• Abstract要約: ディープラーニング(DL)が推進力となり、多くのドメインやアプリケーションで広く採用されている。 本稿では,データ分布と不確実性角の両方からAIシステムのリスク評価を早期に検討する。
• 参考スコア（独自算出の注目度）: 4.99372598361924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning (DL) has become a driving force and has been widely adopted in many domains and applications with competitive performance. In practice, to solve the nontrivial and complicated tasks in real-world applications, DL is often not used standalone, but instead contributes as a piece of gadget of a larger complex AI system. Although there comes a fast increasing trend to study the quality issues of deep neural networks (DNNs) at the model level, few studies have been performed to investigate the quality of DNNs at both the unit level and the potential impacts on the system level. More importantly, it also lacks systematic investigation on how to perform the risk assessment for AI systems from unit level to system level. To bridge this gap, this paper initiates an early exploratory study of AI system risk assessment from both the data distribution and uncertainty angles to address these issues. We propose a general framework with an exploratory study for analyzing AI systems. After large-scale (700+ experimental configurations and 5000+ GPU hours) experiments and in-depth investigations, we reached a few key interesting findings that highlight the practical need and opportunities for more in-depth investigations into AI systems.
• Abstract（参考訳）: ディープラーニング(DL)が推進力となり、競争力のある多くのドメインやアプリケーションで広く採用されている。 実際、現実世界のアプリケーションにおける非自明で複雑なタスクを解決するために、DLはスタンドアローンではなく、より大きな複雑なAIシステムのガジェットとして使われることが多い。 モデルレベルではディープニューラルネットワーク(DNN)の品質問題を研究する傾向が急速に高まっているが、ユニットレベルでのDNNの品質とシステムレベルでの潜在的な影響を調査する研究はほとんど行われていない。 さらに重要なのは、ユニットレベルからシステムレベルへのAIシステムのリスクアセスメントの実施方法に関する体系的な調査も欠如していることだ。 このギャップを埋めるため、本稿では、データ分布と不確実性角の両方からAIシステムのリスク評価を早期に調査し、これらの問題に対処する。 本稿では,AIシステム分析のための探索的研究を含む汎用フレームワークを提案する。 大規模な(700以上の実験的構成と5000以上のgpu時間)実験と詳細な調査の後、私たちはaiシステムに関するより詳細な調査の必要性と機会を強調した、いくつかの重要な発見に到達しました。

関連論文リスト

• A Survey on Failure Analysis and Fault Injection in AI Systems [28.30817443151044]
  AIシステムの複雑さは脆弱性を露呈し、レジリエンスと信頼性を確保するために、障害分析(FA)と障害注入(FI)の堅牢な方法を必要とする。 この研究は、AIシステムの6層にわたる既存のFAとFIのアプローチを詳細に調査することで、このギャップを埋める。 この結果から,AIシステム障害の分類,既存のFIツールの能力評価,実世界とシミュレーション失敗の相違点が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T00:32:03Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• SAIH: A Scalable Evaluation Methodology for Understanding AI Performance Trend on HPC Systems [18.699431277588637]
  本稿では,HPCシステムのAI性能傾向を分析するためのスケーラブルな評価手法(SAIH)を提案する。 データとモデルは絶えずスケールするので、HPCシステムにおけるAIパフォーマンスの傾向と範囲を調べることができる。
  論文  参考訳（メタデータ） (2022-12-07T02:42:29Z)
• A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning [18.918558716102144]
  我々は、大規模人口システムを理解し分析するための現在のアプローチに光を当てる。 我々は,大規模制御の応用の可能性を調査し,実践システムにおける学習アルゴリズムの有能な将来的応用について検討する。
  論文  参考訳（メタデータ） (2022-09-08T14:58:50Z)
• Proceedings of the Robust Artificial Intelligence System Assurance (RAISA) Workshop 2022 [0.0]
  RAISAワークショップは、堅牢な人工知能(AI)と機械学習(ML)システムの研究、開発、応用に焦点を当てる。 特定のMLアルゴリズムに関してロバストネスを研究するのではなく、システムアーキテクチャのレベルでロバストネスの保証を検討することを目的としています。
  論文  参考訳（メタデータ） (2022-02-10T01:15:50Z)
• Robustness testing of AI systems: A case study for traffic sign recognition [13.395753930904108]
  本稿では,AIシステムのロバスト性を実際に検討し,どの手法やメトリクスを利用できるかを示す。 自律運転における交通標識認識の例について,ロバストネステスト手法を解説し,分析した。
  論文  参考訳（メタデータ） (2021-08-13T10:29:09Z)
• Artificial Intelligence for IT Operations (AIOPS) Workshop White Paper [50.25428141435537]
  AIOps(Artificial Intelligence for IT Operations)は、マシンラーニング、ビッグデータ、ストリーミング分析、IT運用管理の交差点で発生する、新たな学際分野である。 AIOPSワークショップの主な目的は、アカデミアと産業界の両方の研究者が集まり、この分野での経験、成果、作業について発表することです。
  論文  参考訳（メタデータ） (2021-01-15T10:43:10Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
  外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。 本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。 さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-06-19T18:57:51Z)
• Distributed and Democratized Learning: Philosophy and Research Challenges [80.39805582015133]
  民主化学習(Dem-AI)という新しいデザイン哲学を提案する。 ヒトの社会的グループに触発され、提案されたDem-AIシステムの学習エージェントの専門グループは階層構造で自己組織化され、より効率的に学習タスクを遂行する。 本稿では,様々な学際分野に触発された未来のDem-AIシステムを実現するためのガイドラインとして,参照設計を提案する。
  論文  参考訳（メタデータ） (2020-03-18T08:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。