論文の概要: Improving Object Detection by Modifying Synthetic Data with Explainable AI

• arxiv url: http://arxiv.org/abs/2412.01477v1
• Date: Mon, 02 Dec 2024 13:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:06.413324
• Title: Improving Object Detection by Modifying Synthetic Data with Explainable AI
• Title（参考訳）: 説明可能なAIによる合成データ修正によるオブジェクト検出の改善
• Authors: Nitish Mital, Simon Malzard, Richard Walters, Celso M. De Melo, Raghuveer Rao, Victoria Nockles,
• Abstract要約: 本稿では,合成画像に基づいて学習したコンピュータビジョンモデルの性能向上のための新しい概念的アプローチを提案する。 我々は、堅牢な説明可能なAI(XAI)技術を用いて、これらの画像を生成するために使用される3Dモデルの修正をガイドする。 合成データは、トレーニング中に見えない方向の車両の検出を4.6%改善できることを示す。
• 参考スコア（独自算出の注目度）: 3.0519884745675485
• License:
• Abstract: In many computer vision domains the collection of sufficient real-world data is challenging and can severely impact model performance, particularly when running inference on samples that are unseen or underrepresented in training. Synthetically generated images provide a promising solution, but it remains unclear how to design synthetic data to optimally improve model performance, for example whether to introduce more realism or more abstraction in such datasets. Here we propose a novel conceptual approach to improve the performance of computer vision models trained on synthetic images, by using robust Explainable AI (XAI) techniques to guide the modification of 3D models used to generate these images. Importantly, this framework allows both modifications that increase and decrease realism in synthetic data, which can both improve model performance. We illustrate this concept using a real-world example where data are sparse; the detection of vehicles in infrared imagery. We fine-tune an initial YOLOv8 model on the ATR DSIAC infrared dataset and synthetic images generated from 3D mesh models in the Unity gaming engine, and then use XAI saliency maps to guide modification of our Unity models. We show that synthetic data can improve detection of vehicles in orientations unseen in training by 4.6\% (to mAP50 scores of 94.6\%). We further improve performance by an additional 1.5\% (to 96.1\%) through our new XAI-guided approach, which reduces misclassifications through both increasing and decreasing the realism of different parts of the synthetic data. These proof-of-concept results pave the way for fine, XAI-controlled curation of synthetic datasets through detailed feature modifications, tailored to improve object detection performance.
• Abstract（参考訳）: 多くのコンピュータビジョン領域では、十分な実世界のデータの収集は困難であり、特にトレーニングにおいて目に見えない、あるいは表現不足なサンプルで推論を実行する場合、モデルのパフォーマンスに深刻な影響を与える可能性がある。 合成生成された画像は、有望な解決策を提供するが、モデルパフォーマンスを改善するためにどのように合成データを設計するかは、現時点では不明である。 本稿では,これらの画像を生成するために使用される3Dモデルの変更をガイドするために,堅牢な説明可能なAI(XAI)技術を用いて,合成画像に基づいて訓練されたコンピュータビジョンモデルの性能を改善するための新しい概念的アプローチを提案する。 重要な点として、このフレームワークは、合成データのリアリズムを増減する修正の両方を可能にし、モデルの性能を向上させることができる。 我々はこの概念を、データがスパースである現実世界の例を用いて説明し、赤外線画像中の車両の検出を行う。 ATR DSIAC赤外線データセットとUnityゲームエンジンの3Dメッシュモデルから生成された合成画像に基づいて、最初のYOLOv8モデルを微調整し、XAIサリエンシマップを使用してUnityモデルの修正をガイドします。 合成データは、トレーニング中に見えない方向の車両検出を4.6\%(mAP50スコア94.6\%)改善できることを示す。 我々は、新しいXAI誘導アプローチにより、1.5 %(96.1 %)のさらなる性能向上を実現し、合成データの異なる部分のリアリズムを増大・減少させることにより、誤分類を減らす。 これらの概念実証結果は、オブジェクト検出性能を向上させるために調整された詳細な特徴修正を通じて、XAIが制御する合成データセットの微細なキュレーションの道を開く。

関連論文リスト

• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• UAV-Sim: NeRF-based Synthetic Data Generation for UAV-based Perception [62.71374902455154]
  ニューラルレンダリングの最近の進歩を利用して、静的および動的ノベルビューUAVベースの画像レンダリングを改善する。 本研究では,主に実データと合成データのハイブリッドセットに基づいて最先端検出モデルが最適化された場合,性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-25T00:20:37Z)
• Robust Category-Level 3D Pose Estimation from Synthetic Data [17.247607850702558]
  CADモデルから生成されたオブジェクトポーズ推定のための新しい合成データセットであるSyntheticP3Dを紹介する。 逆レンダリングによるポーズ推定を行うニューラルネットワークモデルをトレーニングするための新しいアプローチ(CC3D)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T14:56:03Z)
• Synthetic Image Data for Deep Learning [0.294944680995069]
  3次元モデルからレンダリングされたリアルな合成画像データを使用して、画像集合を拡大し、画像分類セグメンテーションモデルを訓練することができる。 実車の生産3次元CADモデルに基づく大規模合成データセットを,高品質な物理ベースレンダリングとドメインランダム化により効率的に作成できることを示す。
  論文  参考訳（メタデータ） (2022-12-12T20:28:13Z)
• Is synthetic data from generative models ready for image recognition? [69.42645602062024]
  本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。 本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-14T06:54:24Z)
• Hands-Up: Leveraging Synthetic Data for Hands-On-Wheel Detection [0.38233569758620045]
  この研究は、ドライバモニタリングシステムのトレーニングに合成フォトリアリスティックインキャビンデータを使用することを実証する。 プラットフォームでエラー解析を行い、欠落したエッジケースを生成することで、パフォーマンスが向上することを示す。 これは、人間中心の合成データが現実世界にうまく一般化する能力を示している。
  論文  参考訳（メタデータ） (2022-05-31T23:34:12Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)
• Synthetic Data and Hierarchical Object Detection in Overhead Imagery [0.0]
  衛星画像における低・ゼロサンプル学習を向上させるための新しい合成データ生成および拡張技術を開発した。 合成画像の有効性を検証するために,検出モデルと2段階モデルの訓練を行い,実際の衛星画像上で得られたモデルを評価する。
  論文  参考訳（メタデータ） (2021-01-29T22:52:47Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• Can Synthetic Data Improve Object Detection Results for Remote Sensing Images? [15.466412729455874]
  本稿では,リモートセンシング画像航空機検出の性能向上のために,広域分布のリアルな合成データの利用を提案する。 レンダリング中に、インスタンスのサイズや背景画像のクラスなど、パラメータをランダムに設定します。 合成画像をよりリアルにするために,CycleGANと実際の未ラベル画像を用いて,画素レベルで合成画像を洗練する。
  論文  参考訳（メタデータ） (2020-06-09T02:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。