Fugu-MT 論文翻訳(概要): If a Human Can See It, So Should Your System: Reliability Requirements for Machine Vision Components

論文の概要: If a Human Can See It, So Should Your System: Reliability Requirements for Machine Vision Components

arxiv url: http://arxiv.org/abs/2202.03930v1
Date: Tue, 8 Feb 2022 15:26:18 GMT
ステータス: 処理完了
システム内更新日: 2022-02-09 18:31:10.917547
Title: If a Human Can See It, So Should Your System: Reliability Requirements for Machine Vision Components
Title（参考訳）: もし人間がそれを見ることができれば、あなたのシステムは:マシンビジョンコンポーネントの信頼性要件
Authors: Boyue Caroline Hu, Lina Marsso, Krzysztof Czarnecki, Rick Salay, Huakun Shen, Marsha Chechik
Abstract要約: 機械ビジョンコンポーネント(MVC)は、安全に欠かせないものになりつつある。安全性を含む品質の確保は、デプロイメントを成功させる上で不可欠です。本稿では、MVCのマシン検証可能な信頼性要件を定義する必要性に対処する。
参考スコア（独自算出の注目度）: 10.457078673007105
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine Vision Components (MVC) are becoming safety-critical. Assuring their quality, including safety, is essential for their successful deployment. Assurance relies on the availability of precisely specified and, ideally, machine-verifiable requirements. MVCs with state-of-the-art performance rely on machine learning (ML) and training data but largely lack such requirements. In this paper, we address the need for defining machine-verifiable reliability requirements for MVCs against transformations that simulate the full range of realistic and safety-critical changes in the environment. Using human performance as a baseline, we define reliability requirements as: 'if the changes in an image do not affect a human's decision, neither should they affect the MVC's.' To this end, we provide: (1) a class of safety-related image transformations; (2) reliability requirement classes to specify correctness-preservation and prediction-preservation for MVCs; (3) a method to instantiate machine-verifiable requirements from these requirements classes using human performance experiment data; (4) human performance experiment data for image recognition involving eight commonly used transformations, from about 2000 human participants; and (5) a method for automatically checking whether an MVC satisfies our requirements. Further, we show that our reliability requirements are feasible and reusable by evaluating our methods on 13 state-of-the-art pre-trained image classification models. Finally, we demonstrate that our approach detects reliability gaps in MVCs that other existing methods are unable to detect.
Abstract（参考訳）: 機械ビジョンコンポーネント(MVC)は安全に重要になっている。安全性を含む品質の保証は、デプロイメントの成功に不可欠です。保証は、正確に指定され、理想的には、マシン検証可能な要件の可用性に依存する。最先端のパフォーマンスを持つMVCは機械学習(ML)とトレーニングデータに依存しているが、その要件はほとんどない。本稿では,MVCのマシン検証可能な信頼性要件を,環境における現実的かつ安全クリティカルな変化をシミュレートする変換に対して定義する必要性に対処する。人間のパフォーマンスをベースラインとして、私たちは信頼性要件を次のように定義しています。 To this end, we provide: (1) a class of safety-related image transformations; (2) reliability requirement classes to specify correctness-preservation and prediction-preservation for MVCs; (3) a method to instantiate machine-verifiable requirements from these requirements classes using human performance experiment data; (4) human performance experiment data for image recognition involving eight commonly used transformations, from about 2000 human participants; and (5) a method for automatically checking whether an MVC satisfies our requirements. さらに, 従来の13種類の画像分類モデルを用いて, 信頼性要件を検証し, 再利用可能であることを示す。最後に,既存手法では検出できないMVCの信頼性ギャップを,我々の手法が検出できることを実証する。

関連論文リスト

Vision Language Model for Interpretable and Fine-grained Detection of Safety Compliance in Diverse Workplaces [5.993182776695029]
多様な職場安全コンプライアンスのための解釈可能な検出フレームワークであるClip2Safetyを紹介する。このフレームワークは、シーン認識、視覚的プロンプト、安全アイテムの検出、きめ細かい検証の4つの主要なモジュールで構成されている。その結果, Clip2Safetyは, 最先端の質問応答に基づくVLMよりも精度が向上するだけでなく, 推測時間も200倍高速であることがわかった。
論文参考訳（メタデータ） (2024-08-13T18:32:06Z)
Automatically Adaptive Conformal Risk Control [49.95190019041905]
本稿では,テストサンプルの難易度に適応して,統計的リスクの近似的条件制御を実現する手法を提案する。我々のフレームワークは、ユーザが提供するコンディショニングイベントに基づく従来のコンディショニングリスク制御を超えて、コンディショニングに適した関数クラスのアルゴリズム的、データ駆動決定を行う。
論文参考訳（メタデータ） (2024-06-25T08:29:32Z)
Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文参考訳（メタデータ） (2024-04-23T11:45:32Z)
ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文参考訳（メタデータ） (2023-10-14T17:10:28Z)
Model Monitoring and Robustness of In-Use Machine Learning Models: Quantifying Data Distribution Shifts Using Population Stability Index [2.578242050187029]
我々は、自律運転に関連するコンピュータビジョンの例に注目し、画像にノイズを加えることによって発生するシフトを検出することを目的としている。人口安定指数 (PSI) を, シフトの有無, および実験結果の指標として用いた。
論文参考訳（メタデータ） (2023-02-01T22:06:31Z)
Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文参考訳（メタデータ） (2022-07-15T11:39:37Z)
Vision Checklist: Towards Testable Error Analysis of Image Models to Help System Designers Interrogate Model Capabilities [26.177391265710362]
Vision Checklistは、堅牢性評価のためにシステムデザイナが使用可能なレポートを生成するために、モデルの能力を疑うためのフレームワークである。我々のフレームワークは、Tinyimagenet、CIFAR10、CIFAR100、Camelyon17のような複数のデータセットと、ViTやResnetのようなモデルで評価されている。
論文参考訳（メタデータ） (2022-01-27T17:20:16Z)
Unimodal Face Classification with Multimodal Training [1.9580473532948401]
顔の頑健な分類のためのMTUT(Multimodal Training Unimodal Test)フレームワークを提案する。本フレームワークは,トレーニング中のモダリティ間の関係を利用して,テスト中の不完全な単一モダリティ入力の補完として適用する。 MTUTフレームワークは、両方のデータセットの2Dおよび3D設定において、10のベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2021-12-08T09:12:47Z)
Reliability Assessment and Safety Arguments for Machine Learning Components in Assuring Learning-Enabled Autonomous Systems [19.65793237440738]
LES(Learning-Enabled Systems)のための総合保証フレームワークを提案する。次に、ML分類器のための新しいモデルに依存しない信頼性評価モデル(RAM)を提案する。モデル仮定と、我々のRAMが発見したML信頼性を評価するための固有の課題について論じる。
論文参考訳（メタデータ） (2021-11-30T14:39:22Z)
Multi Agent System for Machine Learning Under Uncertainty in Cyber Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文参考訳（メタデータ） (2021-07-28T10:28:05Z)
Towards CRISP-ML(Q): A Machine Learning Process Model with Quality Assurance Methodology [53.063411515511056]
本稿では,機械学習アプリケーション開発のためのプロセスモデルを提案する。第1フェーズでは、データの可用性がプロジェクトの実現可能性に影響を与えることが多いため、ビジネスとデータの理解が結合されます。第6フェーズでは、機械学習アプリケーションの監視とメンテナンスに関する最先端のアプローチがカバーされている。
論文参考訳（メタデータ） (2020-03-11T08:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。