論文の概要: Looks Can be Deceiving: Annotator and Reviewer Performance Across Imagery Sources in Crowd-Sourced Aerial Damage Assessment

• arxiv url: http://arxiv.org/abs/2608.14942v1
• Date: Fri, 14 Aug 2026 23:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.131916
• Title: Looks Can be Deceiving: Annotator and Reviewer Performance Across Imagery Sources in Crowd-Sourced Aerial Damage Assessment
• Title（参考訳）: クラウドソースによる航空被害評価における画像ソース間のアノテーションとレビュアーのパフォーマンス
• Authors: Thomas Manzini, Priyankari Perali, Raisa Karnik, Stephen Johnson, Robin R. Murphy,
• Abstract要約: 本稿では,マルチソースリモートセンシング画像を対象としたアノテータとレビュアーの性能に関する実証的研究を行った。 大規模な複数ソースの航空データセットをキュレートするために、人的労働を効率的に割り当てるための、現在確立された慣行は存在しない。
• 参考スコア（独自算出の注目度）: 2.9360071145551068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the first known empirical investigation of annotator and reviewer performance across multi-source remotely sensed imagery, evaluating human labeling across drone, crewed aviation, and satellite views. Because existing aerial imagery datasets rely predominantly on single-source imagery, there is no currently established state of practice for efficiently allocating human labor to curate large-scale, multi-source aerial datasets. This work addresses this limitation by analyzing annotator and reviewer performance within a post-disaster building damage assessment dataset of 9 disasters, where 20041 buildings in drone, 20695 buildings in crewed aviation, and 33392 buildings in satellite imagery were labeled. These labels, provided by 187 annotators, were then refined through two successive quality-control stages: a single-reviewer pass followed by a consensus-committee review. Our analysis reveals two findings that raise questions for standard crowd-sourcing practices. First, initial annotations were revised by the final committee at rates that rise steeply from higher- to lower-resolution sources (25.27% for crewed aviation and 36.95% for satellite), with the same ordering at every observed workflow stage. Second, a single individual review reduced but did not resolve this disagreement: after review, the committee still revised 6.85% of drone, 14.05% of crewed, and 20.86% of satellite labels. These observations suggest that, in workflows like this one, uniform review allocation leaves the most residual disagreement in lower-resolution imagery. Based on this evidence, and consistent with prior work on adaptive task assignment and budget-aware quality control, this paper offers three recommendations for multi-source dataset curation.
• Abstract（参考訳）: 本稿では,マルチソースリモートセンシング画像におけるアノテータとレビュアーの性能に関する実証的研究を行い,ドローン,有人航空,衛星視界における人間のラベル評価を行った。 既存の航空画像データセットは、主に単一ソースの画像に依存しているため、大規模で複数ソースの航空データセットをキュレートするために、人的労働を効率的に割り当てる実践は、現在確立されていない。 本研究は,20041棟のドローンによる建物,20695棟の有人航空機による建物,33392棟の衛星画像による被害評価データセットにおいて,アノテータとレビュアーの性能を解析し,その限界に対処するものである。 これらのラベルは187のアノテータによって提供され、その後、2つの連続した品質制御段階(シングルレビュアーパスとコンセンサス・コミッテのレビュー)を通じて洗練された。 分析の結果、標準的なクラウドソーシングの実践に疑問を投げかける2つの結果が明らかになった。 第一に、最終委員会は、高解像度から低解像度のソース(乗員航空は25.27%、衛星は36.95%)から急上昇する速度で、観測された全てのワークフロー段階で同じ順序で、初期アノテーションを修正した。 レビュー後、委員会はドローンの6.85%、乗員14.05%、衛星ラベルの20.86%を改定した。 これらの観察は、このようなワークフローにおいて、一様レビューアロケーションは低解像度画像に最も不一致な部分を残していることを示唆している。 このエビデンスに基づき、適応的なタスク割り当てと予算を考慮した品質管理に関する先行研究と整合し、マルチソースデータセットのキュレーションに3つの推奨事項を提供する。

関連論文リスト

• ReLATE: Reliability-Guided Evidence Fusion for Robust UAV--Satellite cross-view Geo-Localization [7.939478984686487]
  無人航空機 (UAV) 衛星画像とUAV画像が一致している。 実際の飛行では、UAV観測は悪天候、照明の変化、プラットフォームの動き、センサーノイズ、圧縮によって頻繁に影響を受ける。 UAVSat-Degは, 劣化したUAV衛星のジオローカライゼーションのための大規模ロバスト性ベンチマークである。
  論文  参考訳（メタデータ） (2026-07-28T10:07:18Z)
• Robust Deepfake Detection, NTIRE 2026 Challenge: Report [90.4435687885396]
  本報告では, NTIRE 2026 Robust Deepfake Detection Challengeについて述べる。 トップのソリューションは、このようなオーバーフィットを検出するためにプライベートテストセットで得点されました。 最上位の手法は、一般性と堅牢性を組み合わせるために、大規模な基礎モデル、アンサンブル、劣化訓練に依存している。
  論文  参考訳（メタデータ） (2026-04-27T08:19:53Z)
• Person Recognition in Aerial Surveillance: A Decade Survey [41.112253393812885]
  本稿では,過去10年間の人間中心の空中監視作業における150以上の論文の概要について概説する。 関心の対象は人間であり、人間の対象が検出され、識別され、再同定される。 まず,これらのタスクを空域で実行する上で,一般的な地上環境と比較して,ユニークな課題を特定する。
  論文  参考訳（メタデータ） (2025-11-21T06:00:35Z)
• AG-VPReID 2025: Aerial-Ground Video-based Person Re-identification Challenge Results [64.38412449125872]
  本稿では,高高度(80-120m)の地上ReIDに焦点を当てた初の大規模ビデオベースコンペであるAG-VPReID 2025 Challengeを紹介する。 この課題は、3,027個のID、13,500個のトラックレット、UAV、CCTV、ウェアラブルカメラから取得された約370万フレームからなるAG-VPReIDデータセット上に構築された。 UAMのX-TFCLIPによる空中対地ReID設定では72.28%、地上対地ReID設定では70.77%の精度を達成した
  論文  参考訳（メタデータ） (2025-06-28T10:45:30Z)
• Performance evaluation of deep segmentation models for Contrails detection [1.6492989697868894]
  コントラル(Contrail)は、冷たく湿った空気を飛ぶ際に航空機のエンジンの排気によって生じる線状の氷雲である。 彼らは、放出される長波放射の約33%を地球に吸収または誘導することで温室効果を発生させる。 この研究は、低軌道衛星画像の反則を検出するために最先端のセグメンテーション技術を適用した最初のものである。
  論文  参考訳（メタデータ） (2022-11-27T15:07:39Z)
• The State of Aerial Surveillance: A Survey [62.198765910573556]
  本稿では、コンピュータビジョンとパターン認識の観点から、人間中心の空中監視タスクの概要を概観する。 主な対象は、単体または複数の被験者が検出され、特定され、追跡され、再同定され、その振る舞いが分析される人間である。
  論文  参考訳（メタデータ） (2022-01-09T20:13:27Z)
• Rethinking Drone-Based Search and Rescue with Aerial Person Detection [79.76669658740902]
  航空ドローンの映像の視覚検査は、現在土地捜索救助(SAR)活動に不可欠な部分である。 本稿では,この空中人物検出(APD)タスクを自動化するための新しいディープラーニングアルゴリズムを提案する。 本稿では,Aerial Inspection RetinaNet (AIR) アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-11-17T21:48:31Z)
• Object Detection in Aerial Images: A Large-Scale Benchmark and Challenges [124.48654341780431]
  航空画像(DOTA)におけるオブジェクトデテクションの大規模データセットとODAIの総合的ベースラインについて述べる。 提案するDOTAデータセットは,11,268個の空中画像から収集した18カテゴリのオブジェクト指向ボックスアノテーションの1,793,658個のオブジェクトインスタンスを含む。 70以上の構成を持つ10の最先端アルゴリズムをカバーするベースラインを構築し,各モデルの速度と精度を評価した。
  論文  参考訳（メタデータ） (2021-02-24T11:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。