論文の概要: Quality Assurance for Artificial Intelligence: A Study of Industrial
Concerns, Challenges and Best Practices
- arxiv url: http://arxiv.org/abs/2402.16391v1
- Date: Mon, 26 Feb 2024 08:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 14:04:49.554604
- Title: Quality Assurance for Artificial Intelligence: A Study of Industrial
Concerns, Challenges and Best Practices
- Title(参考訳): 人工知能の品質保証:産業問題,課題,ベストプラクティスに関する研究
- Authors: Chenyu Wang, Zhou Yang, Ze Shi Li, Daniela Damian, David Lo
- Abstract要約: 我々は,AIシステムの品質保証(QA4AI)の課題とベストプラクティスについて報告する。
以上の結果から, 最も重要な特性として正しさが示唆され, モデル関連性, 効率性, 展開性などが示唆された。
AI開発の各段階で、21のQA4AIプラクティスを特定します。
- 参考スコア(独自算出の注目度): 14.222404866137756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quality Assurance (QA) aims to prevent mistakes and defects in manufactured
products and avoid problems when delivering products or services to customers.
QA for AI systems, however, poses particular challenges, given their
data-driven and non-deterministic nature as well as more complex architectures
and algorithms. While there is growing empirical evidence about practices of
machine learning in industrial contexts, little is known about the challenges
and best practices of quality assurance for AI systems (QA4AI). In this paper,
we report on a mixed-method study of QA4AI in industry practice from various
countries and companies. Through interviews with fifteen industry practitioners
and a validation survey with 50 practitioner responses, we studied the concerns
as well as challenges and best practices in ensuring the QA4AI properties
reported in the literature, such as correctness, fairness, interpretability and
others. Our findings suggest correctness as the most important property,
followed by model relevance, efficiency and deployability. In contrast,
transferability (applying knowledge learned in one task to another task),
security and fairness are not paid much attention by practitioners compared to
other properties. Challenges and solutions are identified for each QA4AI
property. For example, interviewees highlighted the trade-off challenge among
latency, cost and accuracy for efficiency (latency and cost are parts of
efficiency concern). Solutions like model compression are proposed. We
identified 21 QA4AI practices across each stage of AI development, with 10
practices being well recognized and another 8 practices being marginally agreed
by the survey practitioners.
- Abstract(参考訳): 品質保証(QA)は、製造された製品の誤りや欠陥を防止し、製品やサービスを顧客に届ける際の問題を回避することを目的としている。
しかし、aiシステムのqaは、データ駆動と非決定論的性質とより複雑なアーキテクチャとアルゴリズムを考えると、特定の課題を提起する。
産業における機械学習の実践に関する実証的な証拠が増えているが、AIシステム(QA4AI)の品質保証の課題とベストプラクティスについてはほとんど知られていない。
本稿では,各国および企業における産業実践におけるQA4AIの混合研究について報告する。
15人の業界実践者へのインタビューと50人の実践者による検証調査を通じて,正確性,公平性,解釈性などの文献に報告されているqa4aiの特性を保証する上での課題とベストプラクティスについて検討した。
以上より,モデルの妥当性,効率性,デプロイ性などが示唆された。
対照的に、トランスファービリティ(あるタスクで学んだ知識を別のタスクに適用する)、セキュリティ、公平さは、他のプロパティと比べて実践者からはあまり注目されない。
各QA4AIプロパティに対してチャレンジとソリューションが識別される。
例えば、インタビュアーは、レイテンシ、コスト、効率性の正確さ(レイテンシとコストは効率の懸念の一部)の間のトレードオフの課題を強調した。
モデル圧縮のようなソリューションが提案されている。
私たちは、ai開発の各段階で21のqa4aiプラクティスを特定し、10のプラクティスが十分に認識され、さらに8のプラクティスが調査実践者によってわずかに合意されています。
関連論文リスト
- Bridging the Gap: A Study of AI-based Vulnerability Management between Industry and Academia [4.4037442949276455]
人工知能(AI)の最近の研究進歩は、自動化されたソフトウェア脆弱性管理に有望な結果をもたらした。
業界は、AIベースのテクニックをセキュリティ脆弱性管理ワークフローに統合することに関して、非常に慎重で選択的だ。
我々は、産業の期待をよりよく理解し、AIベースのセキュリティ脆弱性研究の実践的ユーザビリティを改善し、産業とアカデミックの相乗効果を推し進めるための将来の方向性を提案する。
論文 参考訳(メタデータ) (2024-05-03T19:00:50Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳(メタデータ) (2024-02-21T08:29:42Z) - The Economics of Human Oversight: How Norms and Incentives Affect Costs
and Performance of AI Workers [0.0]
AIアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移動と補完を招きつつ、新たな雇用機会を生み出している。
AIの人間監督は、人間の労働者がAIモデルと対話して、そのパフォーマンス、安全性、規範的原則の遵守を改善する、新たなタスクである。
本稿では,標準設計と金融インセンティブがデータ品質とコストに与える影響に着目し,人間の監視の基礎経済を考察する。
論文 参考訳(メタデータ) (2023-12-22T09:50:57Z) - Competition-Level Problems are Effective LLM Evaluators [124.7648712310141]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳(メタデータ) (2023-12-04T18:58:57Z) - A Hypothesis on Good Practices for AI-based Systems for Financial Time
Series Forecasting: Towards Domain-Driven XAI Methods [0.0]
機械学習とディープラーニングは、財務予測や予測タスクでますます普及している。
これらのモデルは透明性と解釈可能性に欠けることが多く、金融のような繊細なドメインでの使用を困難にしている。
本稿では、金融のためのAIベースのシステムに説明可能性を展開するための優れた実践について考察する。
論文 参考訳(メタデータ) (2023-11-13T17:56:45Z) - Machine Unlearning: A Survey [56.79152190680552]
プライバシ、ユーザビリティ、および/または忘れられる権利のために、特定のサンプルに関する情報をマシンアンラーニングと呼ばれるモデルから削除する必要がある特別なニーズが生まれている。
この新興技術は、その革新と実用性により、学者と産業の両方から大きな関心を集めている。
この複雑なトピックを分析したり、さまざまなシナリオで既存の未学習ソリューションの実現可能性を比較したりした研究はない。
この調査は、未学習のテクニックに関する卓越した問題と、新しい研究機会のための実現可能な方向性を強調して締めくくった。
論文 参考訳(メタデータ) (2023-06-06T10:18:36Z) - Towards Implementing Responsible AI [22.514717870367623]
我々は,AIシステムの設計と開発において,ソフトウェア工学で使用されるプロセスに適応する4つの側面を提案する。
健全な発見は、AIシステム設計と開発、ソフトウェアエンジニアリングで使用されるプロセスの適応の4つの側面をカバーしている。
論文 参考訳(メタデータ) (2022-05-09T14:59:23Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳(メタデータ) (2020-11-02T20:04:18Z) - Reinforcement Learning with Efficient Active Feature Acquisition [59.91808801541007]
実生活では、情報取得は患者の医療検査に該当する可能性がある。
本稿では,アクティブな特徴獲得ポリシーを学習するモデルに基づく強化学習フレームワークを提案する。
この成功の鍵は、部分的に観察された状態から高品質な表現を学ぶ新しい逐次変分自動エンコーダである。
論文 参考訳(メタデータ) (2020-11-02T08:46:27Z) - Quality Management of Machine Learning Systems [0.0]
機械学習(ML)技術の大きな進歩により、人工知能(AI)は私たちの日常生活の一部になっています。
ビジネス/ミッションクリティカルなシステムでは、AIアプリケーションの信頼性と保守性に関する深刻な懸念が残っている。
本稿では,MLアプリケーションのための総合的な品質管理フレームワークの展望について述べる。
論文 参考訳(メタデータ) (2020-06-16T21:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。