論文の概要: Designing an Objective-Driven Test Method for the Comparative Performance Evaluation of Commercial DTI Solutions for Counter UAS systems
- arxiv url: http://arxiv.org/abs/2405.04477v2
- Date: Wed, 5 Jun 2024 15:20:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 00:09:48.207541
- Title: Designing an Objective-Driven Test Method for the Comparative Performance Evaluation of Commercial DTI Solutions for Counter UAS systems
- Title（参考訳）: 対向UASシステムのための商用DTIソリューションの比較性能評価のためのオブジェクト指向テスト手法の設計
- Authors: Ali Mohamoud, Johan van de Pol, Hanno Hildmann, Rob van Heijster, Beatrice Masini, Martijn van den Heuvel, Amber van Keeken,
- Abstract要約: Unmanned Aerial Systems (UAS) はますます商用化され、安価になった。
検出トラッキングと識別(DTI)ソリューションを備えたカウンターUASシステムの開発と展開に重点が置かれている。
これらのDTIシステムでは標準的なテスト手法が利用できず、異なるテスト手法がこれらのシステムの比較を困難または不可能にしている。
本稿では,C-UASを対象とした商用DTIソリューションにおける目標駆動型テスト手法の定義,開発,検証,およびそれに対応する性能評価について報告する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unmanned Aerial Systems (UASs) or drones become more and more commercially available and cheap. There has been much emphasis on developing and deploying Counter-UAS systems (UASs) with Detection Tracking and Identification (DTI) solutions. However, the capabilities of these systems are hard to benchmark. Performance claims of these systems are currently not supported by evidence. In addition, no standard test methodologies are available for these DTI systems and different test methodologies make comparison of these systems hard or impossible. We report on the definition, development and verification of an objective-driven test method and corresponding comparative performance evaluation for commercial DTI solutions for C-UASs. The developed methodology is based on end-user scenarios that are operationally relevant. The test methodology is based on a generic DTI system lay-out and is detailed towards detection, tracking and identification, taking into account contextual information and end-user input. The comparative performance evaluation is developed to enable the use of the methodology in a relevant environment, thereby taking into account any potential environmental aspect that might influence DTI system performance. Validation of the work in a relevant environment has been done in three operational trials. The operational trial results show that the method allows for performance evaluation at component level (i.e., detection, tracking or identification component) and at system level (combinations of these components and integrated DTI system of system solutions).
- Abstract（参考訳）: 無人航空システム(UAS)やドローンはますます商業的になり、安価になる。
検出トラッキングと識別(DTI)ソリューションを備えた対UAS(Counter-UAS)システムの開発と展開に重点が置かれている。
しかし、これらのシステムの能力はベンチマークが難しい。
これらのシステムの性能主張は、現在証拠によって支持されていない。
さらに、これらのDTIシステムでは標準的なテスト方法論が利用できず、異なるテスト方法論がこれらのシステムの比較を困難または不可能にしている。
本稿では,C-UASを対象とした商用DTIソリューションにおける目標駆動型テスト手法の定義,開発,検証,およびそれに対応する性能評価について報告する。
開発された方法論は、運用上関係のあるエンドユーザーシナリオに基づいている。
テスト手法は汎用DTIシステムレイアウトに基づいており、コンテキスト情報とエンドユーザー入力を考慮して検出、追跡、識別を行う。
DTIシステムの性能に影響を及ぼす可能性のある潜在的な環境面を考慮し、関連する環境における方法論の使用を可能にするために、比較性能評価法を開発した。
関連する環境での作業の検証は、3つの運用試験で行われている。
運用試験の結果、本手法は、コンポーネントレベル(検出、追跡、識別コンポーネント)とシステムレベル(これらのコンポーネントとシステムソリューションの統合DTIシステム)のパフォーマンス評価を可能にすることが示された。
関連論文リスト
- Comparative Analysis of Personalized Voice Activity Detection Systems: Assessing Real-World Effectiveness [5.227649472972237]
音声活動検出(VAD)は、音声認識、音声強調、ハンズフリー通信システムなどの様々な応用において重要な要素である。
本稿では,個人化音声活動検出(PVAD)システムの比較分析を行い,その実効性を評価する。
論文 参考訳（メタデータ） (2024-06-12T00:53:48Z) - Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。
FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。
実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文 参考訳（メタデータ） (2024-01-22T14:16:37Z) - Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of
System-level Testing of Autonomous Vehicles [5.634825161148484]
我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。
TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。
AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
論文 参考訳（メタデータ） (2023-11-14T10:16:05Z) - Diffusion-based Visual Counterfactual Explanations -- Towards Systematic
Quantitative Evaluation [64.0476282000118]
視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。
評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。
本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
論文 参考訳（メタデータ） (2023-08-11T12:22:37Z) - Benchmarking Test-Time Adaptation against Distribution Shifts in Image
Classification [77.0114672086012]
テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。
本稿では,広く使用されている5つの画像分類データセット上で,13のTTA手法とその変種を体系的に評価するベンチマークを提案する。
論文 参考訳（メタデータ） (2023-07-06T16:59:53Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳（メタデータ） (2023-04-21T02:20:24Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳（メタデータ） (2023-03-21T14:24:58Z) - Using novel data and ensemble models to improve automated labeling of
Sustainable Development Goals [0.0]
国連(UN)の持続可能な開発目標の作業を監視するために、テキストに基づくラベル付けシステムが提案されている。
系はその特異性(真正レート)と感度(真負レート)で大きく異なることを示す。
次に、ラベリングシステムをプールするアンサンブルモデルにより、これらの制限を緩和し、現在利用可能な全システムのラベリング性能を上回ることを示す。
論文 参考訳（メタデータ） (2023-01-25T07:44:46Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳（メタデータ） (2022-05-20T20:50:17Z) - Complete Agent-driven Model-based System Testing for Autonomous Systems [0.0]
複雑な自律輸送システムをテストするための新しいアプローチについて述べる。
検証と検証に関して最も重大な問題のいくつかを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-10-25T01:55:24Z) - Test and Evaluation Framework for Multi-Agent Systems of Autonomous
Intelligent Agents [0.0]
人工知能を組み込んだサイバー物理システムの複雑なアンサンブルのための統一的なテストと評価フレームワークを開発することの課題について考察する。
本稿では,開発ライフサイクルだけでなく,システムが学習し,適応するにつれて,テストと評価を実施できるフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-25T21:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。