論文の概要: Computer Vision Intelligence Test Modeling and Generation: A Case Study on Smart OCR
- arxiv url: http://arxiv.org/abs/2410.03536v1
- Date: Sat, 14 Sep 2024 23:33:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 21:39:44.747547
- Title: Computer Vision Intelligence Test Modeling and Generation: A Case Study on Smart OCR
- Title（参考訳）: コンピュータビジョンインテリジェンステストモデリングと生成:スマートOCRを事例として
- Authors: Jing Shu, Bing-Jiun Miu, Eugene Chang, Jerry Gao, Jun Liu,
- Abstract要約: まず、AIソフトウェアテストプロセスの重要な側面を網羅した、これまでの研究に関する包括的な文献レビューを紹介する。
次に,画像に基づくテキスト抽出AI関数を体系的に評価する3次元分類モデルを提案する。
提案したAIソフトウェアの品質テストの性能を評価するために,異なる側面をカバーするための4つの評価指標を提案する。
- 参考スコア（独自算出の注目度）: 3.0561992956541606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-based systems possess distinctive characteristics and introduce challenges in quality evaluation at the same time. Consequently, ensuring and validating AI software quality is of critical importance. In this paper, we present an effective AI software functional testing model to address this challenge. Specifically, we first present a comprehensive literature review of previous work, covering key facets of AI software testing processes. We then introduce a 3D classification model to systematically evaluate the image-based text extraction AI function, as well as test coverage criteria and complexity. To evaluate the performance of our proposed AI software quality test, we propose four evaluation metrics to cover different aspects. Finally, based on the proposed framework and defined metrics, a mobile Optical Character Recognition (OCR) case study is presented to demonstrate the framework's effectiveness and capability in assessing AI function quality.
- Abstract（参考訳）: AIベースのシステムは特有の特徴を持ち、品質評価の課題を同時に導入する。
その結果、AIソフトウェアの品質の保証と検証が重要である。
本稿では,この課題に対処する効果的なAIソフトウェア機能テストモデルを提案する。
具体的には、AIソフトウェアテストプロセスの重要な側面を網羅した、以前の研究に関する包括的な文献レビューを最初に提示する。
次に、画像ベースのテキスト抽出AI関数を体系的に評価する3D分類モデルと、テストカバレッジ基準と複雑性を導入する。
提案したAIソフトウェアの品質テストの性能を評価するために,異なる側面をカバーするための4つの評価指標を提案する。
最後に、提案したフレームワークと定義メトリクスに基づいて、AI機能品質を評価するためのフレームワークの有効性と能力を示すために、移動型光学文字認識(OCR)ケーススタディを示す。
関連論文リスト
- AI-Generated Image Quality Assessment Based on Task-Specific Prompt and Multi-Granularity Similarity [62.00987205438436]
本稿では,TSP-MGSというAIGIの品質評価手法を提案する。
タスク固有のプロンプトを設計し、AIGIとプロンプトの多粒度類似度を測定する。
一般的に使用されるAGIQA-1KとAGIQA-3Kベンチマークの実験は、提案されたTSP-MGSの優位性を示している。
論文 参考訳（メタデータ） (2024-11-25T04:47:53Z) - The Role of Artificial Intelligence and Machine Learning in Software Testing [0.14896196009851972]
人工知能(AI)と機械学習(ML)は様々な産業に大きな影響を与えている。
ソフトウェア開発ライフサイクル(SDLC)の重要な部分であるソフトウェアテストは、ソフトウェア製品の品質と信頼性を保証する。
本稿では、既存の文献をレビューし、現在のツールや技術を分析し、ケーススタディを提示することで、ソフトウェアテストにおけるAIとMLの役割について考察する。
論文 参考訳（メタデータ） (2024-09-04T13:25:13Z) - How critically can an AI think? A framework for evaluating the quality of thinking of generative artificial intelligence [0.9671462473115854]
大きな言語モデルを持つような生成AIは、革新的なアセスメント設計プラクティスの機会を生み出している。
本稿では,現在の業界ベンチマークである LLM ChatGPT4 アプリケーションの性能を探求するフレームワークを提案する。
この批判は、批判的思考スキルの観点から、彼らの質問の脆弱性を具体的かつターゲットに示します。
論文 参考訳（メタデータ） (2024-06-20T22:46:56Z) - Understanding and Evaluating Human Preferences for AI Generated Images with Instruction Tuning [58.41087653543607]
我々はまず,AIGCIQA2023+と呼ばれるAIGIのための画像品質評価(IQA)データベースを構築した。
本稿では,AIGIに対する人間の嗜好を評価するためのMINT-IQAモデルを提案する。
論文 参考訳（メタデータ） (2024-05-12T17:45:11Z) - PCQA: A Strong Baseline for AIGC Quality Assessment Based on Prompt Condition [4.125007507808684]
本研究では,効果的なAIGC品質評価(QA)フレームワークを提案する。
まず,マルチソースCLIP(Contrastive Language- Image Pre-Training)テキストエンコーダを用いたハイブリッドプロンプト符号化手法を提案する。
第2に,適応したプロンプトと視覚機能を効果的にブレンドするアンサンブルベースの機能ミキサーモジュールを提案する。
論文 参考訳（メタデータ） (2024-04-20T07:05:45Z) - AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images [70.42666704072964]
我々はAI生成の全方位画像IQAデータベースAIIGCOIQA2024を構築した。
3つの視点から人間の視覚的嗜好を評価するために、主観的IQA実験を行った。
我々は,データベース上での最先端IQAモデルの性能を評価するためのベンチマーク実験を行った。
論文 参考訳（メタデータ） (2024-04-01T10:08:23Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Blind Image Quality Assessment via Vision-Language Correspondence: A
Multitask Learning Perspective [93.56647950778357]
ブラインド画像品質評価(BIQA)は、参照情報なしで画像品質の人間の知覚を予測する。
我々は,他のタスクからの補助的知識を活用するために,BIQAのための汎用的かつ自動化されたマルチタスク学習手法を開発した。
論文 参考訳（メタデータ） (2023-03-27T07:58:09Z) - Do-AIQ: A Design-of-Experiment Approach to Quality Evaluation of AI
Mislabel Detection Algorithm [0.0]
人工知能(AI)アルゴリズムの品質は、サイバーセキュリティ、ヘルスケア、自動運転など、さまざまなアプリケーションにアルゴリズムを確実に採用する上で非常に重要である。
この研究は、Do-AIQという名前のAIアルゴリズムの品質を体系的に評価するために、実験的な設計手法を用いるという原則的な枠組みを提示している。
論文 参考訳（メタデータ） (2022-08-21T19:47:41Z) - Image Quality Assessment in the Modern Age [53.19271326110551]
本チュートリアルは、画像品質評価(IQA)の基礎的理論、方法論、現状の進歩を聴衆に提供する。
まず,視覚刺激を適切に選択する方法に着目し,主観的品質評価手法を再考する。
手書きのエンジニアリングと(深い)学習ベースの手法の両方をカバーします。
論文 参考訳（メタデータ） (2021-10-19T02:38:46Z) - No-Reference Image Quality Assessment via Feature Fusion and Multi-Task
Learning [29.19484863898778]
ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。
マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。
このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
論文 参考訳（メタデータ） (2020-06-06T05:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。