論文の概要: End-to-end Evaluation of Practical Video Analytics Systems for Face
Detection and Recognition
- arxiv url: http://arxiv.org/abs/2310.06945v1
- Date: Tue, 10 Oct 2023 19:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 07:57:10.423325
- Title: End-to-end Evaluation of Practical Video Analytics Systems for Face
Detection and Recognition
- Title(参考訳): 顔検出・認識のための映像解析システムのエンド・ツー・エンド評価
- Authors: Praneet Singh, Edward J. Delp, Amy R. Reibman
- Abstract要約: ビデオ分析システムは、自動運転車のような帯域制限のある環境にデプロイされる。
エンドツーエンドの顔分析システムでは、HEVCのような一般的なビデオコーデックを使用して入力を最初に圧縮する。
独立したタスク評価,データセットの不均衡,一貫性のないアノテーションが,システムパフォーマンスの誤った推定にどのように寄与するかを実証する。
- 参考スコア(独自算出の注目度): 9.942007083253479
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Practical video analytics systems that are deployed in bandwidth constrained
environments like autonomous vehicles perform computer vision tasks such as
face detection and recognition. In an end-to-end face analytics system, inputs
are first compressed using popular video codecs like HEVC and then passed onto
modules that perform face detection, alignment, and recognition sequentially.
Typically, the modules of these systems are evaluated independently using
task-specific imbalanced datasets that can misconstrue performance estimates.
In this paper, we perform a thorough end-to-end evaluation of a face analytics
system using a driving-specific dataset, which enables meaningful
interpretations. We demonstrate how independent task evaluations, dataset
imbalances, and inconsistent annotations can lead to incorrect system
performance estimates. We propose strategies to create balanced evaluation
subsets of our dataset and to make its annotations consistent across multiple
analytics tasks and scenarios. We then evaluate the end-to-end system
performance sequentially to account for task interdependencies. Our experiments
show that our approach provides consistent, accurate, and interpretable
estimates of the system's performance which is critical for real-world
applications.
- Abstract(参考訳): 自動運転車のような帯域制限環境に配備された実用的なビデオ分析システムは、顔検出や認識などのコンピュータビジョンタスクを実行する。
エンドツーエンドの顔分析システムでは、入力はHEVCのような一般的なビデオコーデックを使用して最初に圧縮され、次に顔検出、アライメント、認識を順次実行するモジュールに渡される。
通常、これらのシステムのモジュールはタスク固有の不均衡データセットを使用して独立に評価される。
本稿では,運転固有のデータセットを用いた顔分析システムのエンドツーエンド評価を行い,有意義な解釈を可能にした。
独立したタスク評価,データセットの不均衡,一貫性のないアノテーションが,システムパフォーマンスの誤った推定につながることを示す。
我々は、データセットのバランスのとれた評価サブセットを作成し、そのアノテーションを複数の分析タスクやシナリオ間で一貫性を持たせる戦略を提案する。
次に,タスク間依存性を考慮したエンドツーエンドシステムの性能を逐次評価する。
本実験は,本手法が実世界のアプリケーションにとって重要なシステム性能の一貫性,正確性,解釈可能な推定値を提供することを示す。
関連論文リスト
- A Control-Centric Benchmark for Video Prediction [69.22614362800692]
本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。
私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。
次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
論文 参考訳(メタデータ) (2023-04-26T17:59:45Z) - Mitigating Representation Bias in Action Recognition: Algorithms and
Benchmarks [76.35271072704384]
ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。
この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。
偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
論文 参考訳(メタデータ) (2022-09-20T00:30:35Z) - Formalizing and Evaluating Requirements of Perception Systems for
Automated Vehicles using Spatio-Temporal Perception Logic [25.070876549371693]
本研究では,空間的および時間的演算子を用いた知覚データに対する推論を可能にするロジックを提案する。
STPLの大きな利点の1つは、知覚システムの機能性能の基本的な正当性チェックを容易にすることである。
論文 参考訳(メタデータ) (2022-06-29T02:36:53Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳(メタデータ) (2022-03-11T02:37:35Z) - Injecting Planning-Awareness into Prediction and Detection Evaluation [42.228191984697006]
私たちは一歩後退して、現在の評価指標を批判的に評価し、タスク対応メトリクスを、デプロイされるシステムのパフォーマンスのより良い測定基準として提案します。
実世界の自律運転データとともに、実世界のシミュレーション実験により、提案したタスク認識メトリクスが結果非対称性を考慮でき、モデルのクローズドループ性能をよりよく推定できることを確認した。
論文 参考訳(メタデータ) (2021-10-07T08:52:48Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳(メタデータ) (2020-06-07T09:24:33Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳(メタデータ) (2020-04-20T13:26:45Z) - A Visual Analytics Framework for Reviewing Streaming Performance Data [20.61348106852359]
データ管理,分析,インタラクティブな可視化という3つのモジュールからなる視覚分析フレームワークを提案する。
特に、計算コストを制御できるだけでなく、分析結果の重要な側面をよりよく追従するためのオンラインおよびプログレッシブ分析手法を提案する。
論文 参考訳(メタデータ) (2020-01-26T04:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。