論文の概要: Automated Testing of AI Models
- arxiv url: http://arxiv.org/abs/2110.03320v1
- Date: Thu, 7 Oct 2021 10:30:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-09 02:16:44.373368
- Title: Automated Testing of AI Models
- Title(参考訳): AIモデルの自動テスト
- Authors: Swagatam Haldar, Deepak Vijaykeerthy, Diptikalyan Saha
- Abstract要約: 我々は、AITESTツールの機能を拡張し、画像および音声テキストモデルのテスト技術を含める。
これらの新たな拡張により、AIモデルをテストするための包括的なフレームワークがAIESTになる。
- 参考スコア(独自算出の注目度): 3.0616624345970975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The last decade has seen tremendous progress in AI technology and
applications. With such widespread adoption, ensuring the reliability of the AI
models is crucial. In past, we took the first step of creating a testing
framework called AITEST for metamorphic properties such as fairness, robustness
properties for tabular, time-series, and text classification models. In this
paper, we extend the capability of the AITEST tool to include the testing
techniques for Image and Speech-to-text models along with interpretability
testing for tabular models. These novel extensions make AITEST a comprehensive
framework for testing AI models.
- Abstract(参考訳): この10年で、AI技術とアプリケーションは大きく進歩した。
このような広く採用されているため、AIモデルの信頼性を確保することが不可欠である。
過去に我々は、表形式、時系列、テキスト分類モデルのための、公正性、堅牢性といったメタモルフィックな特性のための AITEST と呼ばれるテストフレームワークを作成する第一歩を踏み出した。
本稿では,AITESTツールの機能を拡張し,画像モデルと音声-テキストモデルのテスト技術と,表形式モデルの解釈可能性テストを含める。
これらの新しい拡張はAIモデルをテストするための包括的なフレームワークとなる。
関連論文リスト
- IoTGeM: Generalizable Models for Behaviour-Based IoT Attack Detection [3.3772986620114387]
一般化性を重視したIoTネットワーク攻撃をモデル化するアプローチを提案する。
まず,機能抽出のための転がり窓のアプローチを改良し,オーバーフィッティングを低減した多段階機能選択プロセスを提案する。
次に、独立したトレインとテストデータセットを使用してモデルを構築し、テストする。
第3に、機械学習モデル、評価指標、データセットの多様なポートフォリオを使用して、方法論を厳格に評価する。
論文 参考訳(メタデータ) (2023-10-17T21:46:43Z) - AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。
本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。
実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
論文 参考訳(メタデータ) (2023-10-03T06:55:19Z) - RenAIssance: A Survey into AI Text-to-Image Generation in the Era of
Large Model [93.8067369210696]
テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。
拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。
大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
論文 参考訳(メタデータ) (2023-09-02T03:27:20Z) - RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder
Language Models [60.53467388496444]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
我々は、RAVENがATLASを著しく上回り、特定のシナリオにおいて最も先進的な言語モデルに匹敵する結果が得られることを示した。
論文 参考訳(メタデータ) (2023-08-15T17:59:18Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - FAIR AI Models in High Energy Physics [16.744801048170732]
実験高エネルギー物理学におけるAIモデルに対するFAIR原則の実践的定義を提案する。
これらの原則を適用するためのテンプレートについて説明する。
本稿では,このFAIR AIモデルの堅牢性,ハードウェアアーキテクチャとソフトウェアフレームワーク間のポータビリティ,解釈可能性について報告する。
論文 参考訳(メタデータ) (2022-12-09T19:00:18Z) - Tools and Practices for Responsible AI Engineering [0.5249805590164901]
我々は、責任あるAIエンジニアリングに対する重要なニーズに対処する2つの新しいソフトウェアライブラリを提示する。
hydra-zenは、複雑なAIアプリケーションとその振る舞いを再現するプロセスを劇的に単純化する。
rAI-toolboxは、AIモデルの堅牢性を評価し、拡張する方法を可能にするように設計されている。
論文 参考訳(メタデータ) (2022-01-14T19:47:46Z) - Data Synthesis for Testing Black-Box Machine Learning Models [2.3800397174740984]
機械学習モデルの利用の増加は、これらのモデルの信頼性に関する疑問を提起する。
本稿では、ブラックボックスML/DLモデルをテストするための自動テストデータ合成のためのフレームワークを提供する。
論文 参考訳(メタデータ) (2021-11-03T12:00:30Z) - Testing Framework for Black-box AI Models [1.916485402892365]
本稿では,AIモデルをテストするためのエンドツーエンドの汎用フレームワークを提案する。
我々のツールは産業用AIモデルのテストに使われており、問題を明らかにするのに非常に効果的でした。
論文 参考訳(メタデータ) (2021-02-11T18:15:23Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳(メタデータ) (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。