論文の概要: Do-AIQ: A Design-of-Experiment Approach to Quality Evaluation of AI
Mislabel Detection Algorithm
- arxiv url: http://arxiv.org/abs/2208.09953v1
- Date: Sun, 21 Aug 2022 19:47:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:54:58.231428
- Title: Do-AIQ: A Design-of-Experiment Approach to Quality Evaluation of AI
Mislabel Detection Algorithm
- Title（参考訳）: Do-AIQ:AIミスラベル検出アルゴリズムの品質評価のための実験的アプローチ
- Authors: J. Lian, K. Choi, B. Veeramani, A. Hu, L. Freeman, E. Bowen, X. Deng
- Abstract要約: 人工知能(AI)アルゴリズムの品質は、サイバーセキュリティ、ヘルスケア、自動運転など、さまざまなアプリケーションにアルゴリズムを確実に採用する上で非常に重要である。
この研究は、Do-AIQという名前のAIアルゴリズムの品質を体系的に評価するために、実験的な設計手法を用いるという原則的な枠組みを提示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The quality of Artificial Intelligence (AI) algorithms is of significant
importance for confidently adopting algorithms in various applications such as
cybersecurity, healthcare, and autonomous driving. This work presents a
principled framework of using a design-of-experimental approach to
systematically evaluate the quality of AI algorithms, named as Do-AIQ.
Specifically, we focus on investigating the quality of the AI mislabel data
algorithm against data poisoning. The performance of AI algorithms is affected
by hyperparameters in the algorithm and data quality, particularly, data
mislabeling, class imbalance, and data types. To evaluate the quality of the AI
algorithms and obtain a trustworthy assessment on the quality of the
algorithms, we establish a design-of-experiment framework to construct an
efficient space-filling design in a high-dimensional constraint space and
develop an effective surrogate model using additive Gaussian process to enable
the emulation of the quality of AI algorithms. Both theoretical and numerical
studies are conducted to justify the merits of the proposed framework. The
proposed framework can set an exemplar for AI algorithm to enhance the AI
assurance of robustness, reproducibility, and transparency.
- Abstract（参考訳）: 人工知能(AI)アルゴリズムの品質は、サイバーセキュリティ、ヘルスケア、自動運転など、さまざまなアプリケーションにアルゴリズムを確実に採用する上で非常に重要である。
本研究は、do-aiqと呼ばれるaiアルゴリズムの質を体系的に評価する実験的手法を用いた原則的枠組みを提案する。
具体的には、AIミスラベルデータアルゴリズムの品質をデータ中毒に対して調査することに焦点を当てる。
AIアルゴリズムのパフォーマンスは、アルゴリズムにおけるハイパーパラメータとデータ品質、特にデータミスラベル、クラス不均衡、データタイプの影響を受けます。
そこで我々は,AIアルゴリズムの品質を評価するために,高次元制約空間における効率的な空間充填設計を構築するための実験フレームワークを構築し,加法ガウス法を用いて効果的なサロゲートモデルを構築し,AIアルゴリズムの品質のエミュレーションを可能にする。
理論的および数値的研究は、提案フレームワークの利点を正当化するために行われた。
提案したフレームワークは、堅牢性、再現性、透明性のAI保証を強化するために、AIアルゴリズムの例を設定できる。
関連論文リスト
- AI-Aided Kalman Filters [65.35350122917914]
カルマンフィルタ(KF)とその変種は、信号処理において最も著名なアルゴリズムの一つである。
最近の進歩は、古典的なカルマン型フィルタリングでディープニューラルネットワーク(DNN)を融合させる可能性を示している。
本稿では,KF型アルゴリズムにAIを組み込むための設計アプローチについて,チュートリアル形式で概説する。
論文 参考訳（メタデータ） (2024-10-16T06:47:53Z) - Beyond Algorithmic Fairness: A Guide to Develop and Deploy Ethical AI-Enabled Decision-Support Tools [0.0]
人工知能(AI)と最適化の統合は、エンジニアリングシステムの効率性、信頼性、レジリエンスを向上させるための大きな約束を持っている。
本稿では,AIと最適化の交差点にアルゴリズムを配置する際に必要となる倫理的考察を明らかにする。
本論文は,ルールの規範的セットを提供するのではなく,研究者間のリフレクションと意識を高めることを目的としている。
論文 参考訳（メタデータ） (2024-09-17T18:37:53Z) - Computer Vision Intelligence Test Modeling and Generation: A Case Study on Smart OCR [3.0561992956541606]
まず、AIソフトウェアテストプロセスの重要な側面を網羅した、これまでの研究に関する包括的な文献レビューを紹介する。
次に,画像に基づくテキスト抽出AI関数を体系的に評価する3次元分類モデルを提案する。
提案したAIソフトウェアの品質テストの性能を評価するために,異なる側面をカバーするための4つの評価指標を提案する。
論文 参考訳（メタデータ） (2024-09-14T23:33:28Z) - Towards Efficient and Trustworthy AI Through
Hardware-Algorithm-Communication Co-Design [32.815326729969904]
最先端のAIモデルは、その不確実性に関する信頼できる尺度を提供することができない。
本稿では,ハードウェアとソフトウェア設計の交差点における研究の方向性を明らかにする。
論文 参考訳（メタデータ） (2023-09-27T18:39:46Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳（メタデータ） (2023-02-05T01:39:21Z) - Enabling AI-Generated Content (AIGC) Services in Wireless Edge Networks [68.00382171900975]
無線エッジネットワークでは、不正に生成されたコンテンツの送信はネットワークリソースを不要に消費する可能性がある。
我々は、AIGC-as-a-serviceの概念を示し、エッジネットワークにAをデプロイする際の課題について議論する。
最適なASP選択のための深層強化学習可能なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-09T09:30:23Z) - RL-EA: A Reinforcement Learning-Based Evolutionary Algorithm Framework
for Electromagnetic Detection Satellite Scheduling Problem [6.438148195340613]
本稿では、EDSSP問題に対する混合整数プログラミングモデルと強化学習(RL-EA)に基づく進化的アルゴリズムフレームワークを提案する。
提案アルゴリズムの計画効果を検討するために,様々なスケール実験を行った。
論文 参考訳（メタデータ） (2022-06-12T08:53:56Z) - Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。
提案アルゴリズムの有効性と有効性を示す実験を行った。
論文 参考訳（メタデータ） (2020-11-04T16:49:29Z) - Investigating the Robustness of Artificial Intelligent Algorithms with
Mixture Experiments [1.877815076482061]
AIアルゴリズムの堅牢性は、不正確な予測によって安全上の懸念が生じ、AIシステムの採用が制限される可能性があるため、大きな関心事である。
ロバストな分類アルゴリズムは、異なるアプリケーションシナリオ下で高い精度と低い変数を持つことが期待されている。
我々は、予測性能を収集するために、総合的な混合実験を行う。
次に,様々な要因がAI分類アルゴリズムの堅牢性にどのように影響するかを統計的に分析する。
論文 参考訳（メタデータ） (2020-10-10T15:38:53Z) - Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。
我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
論文 参考訳（メタデータ） (2020-04-15T15:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。