論文の概要: Benchmarking the Alignment of Data-Quality Metrics, Human Judgment and Land-Cover Segmentation Performance for Earth Observation

• arxiv url: http://arxiv.org/abs/2606.25128v1
• Date: Tue, 23 Jun 2026 20:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.133844
• Title: Benchmarking the Alignment of Data-Quality Metrics, Human Judgment and Land-Cover Segmentation Performance for Earth Observation
• Title（参考訳）: 地球観測のためのデータ品質基準, 人的判断, 土地分断性能のベンチマーク
• Authors: Ümit Mert Çağlar, Alptekin Temizel,
• Abstract要約: 我々は,深部生成モデルにより生成された合成データとともに,地球観測データセットを体系的に評価した。 回転などの摂動のセマンティックス保存は, 人間の認識に影響を与えないまま, 測定スコアを劇的に変化させる。 混合実合成データセットで訓練されたセマンティックセグメンテーションモデルをベンチマークすることにより、ImageNetで事前訓練された特徴空間に根ざした品質指標が地理空間データに対する信頼性の低い指標であることを実証する。
• 参考スコア（独自算出の注目度）: 4.554894288663752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Volume and quality of datasets are crucial for deep learning model training, yet they are often constrained by availability and data acquisition costs. Synthetic data augmentation can extend existing datasets with realistic images, and the quality of these images is generally assessed through fidelity metrics such as FID, KID, IS, LPIPS and SSIM that measure structural or distributional similarity. However, such metrics, including the widely used FID, focus on visual fidelity without reflecting downstream utility, and can diverge from human perception under perturbations that are imperceptible to human observers. In this work, we systematically evaluate Earth observation datasets alongside synthetic counterparts generated by deep generative models, comparing automatic metrics against human perception and downstream tasks. Our results reveal a stark misalignment: semantics-preserving perturbations such as rotation drastically alter metric scores while leaving human recognition unaffected, and synthetic samples that score poorly on automatic metrics achieve comparable or higher perceived realism, and can improve downstream performance when combined with real data. By benchmarking semantic segmentation models trained on mixed real-synthetic datasets, we demonstrate that quality metrics rooted in ImageNet-pretrained feature spaces are unreliable indicators for geospatial data. Our findings underscore that automatic quality evaluation of synthetic datasets should be grounded in downstream task performance and human evaluation.
• Abstract（参考訳）: データセットのボリュームと品質は、ディープラーニングモデルのトレーニングには不可欠だが、可用性とデータ取得コストによって制約されることが多い。 合成データ拡張は、既存のデータセットをリアルなイメージで拡張することができ、これらの画像の品質は、構造的または分布的類似度を測定するFID、KID、IS、LPIPS、SSIMなどの忠実度メトリクスによって評価される。 しかし、広く使われているFIDを含むそのような指標は、下流のユーティリティを反映することなく視覚的忠実さに焦点を合わせ、人間の観察者には受け入れられない摂動の下で人間の知覚から逸脱することができる。 本研究では,地球観測データセットを深部生成モデルで生成した合成データセットとともに体系的に評価し,人間の知覚と下流タスクとの自動計測値を比較した。 本研究は,人間の認識に影響を与えないまま,回転などの摂動のセマンティックス保存によって測定値が劇的に変化すること,自動測定値に劣る合成サンプルが同等あるいは高い認識リアリズムを達成し,実データと組み合わせることで,下流のパフォーマンスを向上させること,の2つの欠点を明らかにした。 混合実合成データセットで訓練されたセマンティックセグメンテーションモデルをベンチマークすることにより、ImageNetで事前訓練された特徴空間に根ざした品質指標が地理空間データに対する信頼性の低い指標であることを実証する。 以上の結果から, 合成データセットの自動品質評価は, 下流作業性能と人的評価に基礎を置くべきであることが示唆された。

関連論文リスト

• Training-Free Metrics for Synthetic Object Detection Data: A Proxy for Detector Performance [3.052250424013348]
  条件合成ドメインマッチング(CCDM)は、下流検出のための候補合成トレーニングセットの相対的ユーティリティのプロキシとして機能する。 VisDrone-DETデータセットの実験により、CCDM計量系は、YOLOv8の下流性能と1.0のスピアマン相関を達成した。
  論文  参考訳（メタデータ） (2026-06-18T05:46:23Z)
• Discriminative Span as a Predictor of Synthetic Data Utility via Classifier Reconstruction [0.552480439325792]
  広く採用されている解決策は、画像から画像への変換を負のサンプルに適用することで、合成正のデータを生成することである。 モデル学習を必要とせずに合成データの有効性を予測できる幾何駆動計量を提案する。 実陰性および合成正の混合データに基づいて学習したCNNの下流分類性能と強い相関性を示す。
  論文  参考訳（メタデータ） (2026-05-10T18:32:31Z)
• A Style-Based Profiling Framework for Quantifying the Synthetic-to-Real Gap in Autonomous Driving Datasets [9.788200709163064]
  本稿では,合成データセットと実画像データセットの両方に基づくスタイルプロファイルを特徴付けるためのプロファイル抽出と発見フレームワークを提案する。 本フレームワークは,グラム行列に基づくスタイル抽出と,クラス内コンパクト性とクラス間分離に最適化されたメトリック学習を組み合わせて,スタイル埋め込みを抽出する。
  論文  参考訳（メタデータ） (2025-10-11T13:09:41Z)
• Explainable Human-in-the-Loop Segmentation via Critic Feedback Signals [0.20999222360659608]
  セグメント化出力の人為的補正による介入学習を可能にする,ループ内対話型フレームワークを提案する。 筆者らのフレームワークは,挑戦的な立方体データに対して最大9mIoUポイントのセグメンテーション精度を向上させることを実証している。 この研究は、精度が高く、データセットバイアスに頑健で、データ効率が良く、都市気候モニタリングや自動運転といった現実世界の領域に適応可能なセグメンテーションシステムを構築するための、研究者や実践者のための実践的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-10-11T01:16:41Z)
• Understanding the Influence of Synthetic Data for Text Embedders [52.04771455432998]
  まず,Wangらによって提案された合成データの再生と公開を行った。 合成データがモデル一般化をどのように改善するかを批判的に検討する。 本研究は, 汎用インバータ構築における, 現在の合成データ手法の限界を浮き彫りにしたものである。
  論文  参考訳（メタデータ） (2025-09-07T19:28:52Z)
• RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。 HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。 我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
  論文  参考訳（メタデータ） (2025-07-12T01:58:04Z)
• Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
  セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。 この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。 セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2023-12-14T18:56:07Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。