論文の概要: Generating Synthetic Satellite Imagery for Rare Objects: An Empirical Comparison of Models and Metrics

• arxiv url: http://arxiv.org/abs/2409.01138v1
• Date: Mon, 2 Sep 2024 10:19:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:13:03.221652
• Title: Generating Synthetic Satellite Imagery for Rare Objects: An Empirical Comparison of Models and Metrics
• Title（参考訳）: 希少物体のための合成衛星画像の生成:モデルと計量の実証的比較
• Authors: Tuong Vy Nguyen, Johannes Hoster, Alexander Glaser, Kristian Hildebrand, Felix Biessmann,
• Abstract要約: 合成衛星画像を生成するために微調整した生成アーキテクチャの大規模評価を行った。 ゲームエンジンからのテキスト入力と画像入力の2つのモードを条件付けて合成画像を生成する。 本研究は, 稀な物体であっても, テキストや詳細な建築レイアウトによる合成衛星画像の生成が可能であることを示す。
• 参考スコア（独自算出の注目度）: 39.33537027948218
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Generative deep learning architectures can produce realistic, high-resolution fake imagery -- with potentially drastic societal implications. A key question in this context is: How easy is it to generate realistic imagery, in particular for niche domains. The iterative process required to achieve specific image content is difficult to automate and control. Especially for rare classes, it remains difficult to assess fidelity, meaning whether generative approaches produce realistic imagery and alignment, meaning how (well) the generation can be guided by human input. In this work, we present a large-scale empirical evaluation of generative architectures which we fine-tuned to generate synthetic satellite imagery. We focus on nuclear power plants as an example of a rare object category - as there are only around 400 facilities worldwide, this restriction is exemplary for many other scenarios in which training and test data is limited by the restricted number of occurrences of real-world examples. We generate synthetic imagery by conditioning on two kinds of modalities, textual input and image input obtained from a game engine that allows for detailed specification of the building layout. The generated images are assessed by commonly used metrics for automatic evaluation and then compared with human judgement from our conducted user studies to assess their trustworthiness. Our results demonstrate that even for rare objects, generation of authentic synthetic satellite imagery with textual or detailed building layouts is feasible. In line with previous work, we find that automated metrics are often not aligned with human perception -- in fact, we find strong negative correlations between commonly used image quality metrics and human ratings.
• Abstract（参考訳）: 生成的ディープラーニングアーキテクチャは、現実的で高解像度の偽画像を生成することができる。 この文脈における重要な疑問は、特にニッチドメインにおいて、現実的なイメージを生成するのがどの程度簡単か、ということです。 特定の画像の内容を達成するのに必要な反復的なプロセスは、自動化と制御が困難である。 特に稀なクラスでは、生成的アプローチが現実的なイメージとアライメントを生み出すかどうかを評価できない。 本研究では,合成衛星画像を生成するために微調整した生成アーキテクチャの大規模評価について述べる。 この制限は、世界中の約400の施設にしか存在しないため、実世界の事例の限られた回数で訓練とテストデータが制限される他の多くのシナリオに例えられる。 我々は,ゲームエンジンから得られた2種類のモーダル性,テキスト入力,画像入力を条件付けて合成画像を生成する。 生成した画像は, 自動評価のためによく使用される指標を用いて評価し, そして, その信頼性を評価するために実施したユーザスタディからの人的判断と比較した。 本研究は, 稀な物体であっても, テキストや詳細な建築レイアウトによる合成衛星画像の生成が可能であることを示す。 実際、一般的に使用されている画像品質メトリクスと人間の評価との間には、強い負の相関関係があることが分かっています。

関連論文リスト

• KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities [93.74881034001312]
  テキスト・画像生成モデルにおける実体の忠実度に関する系統的研究を行う。 我々はランドマークの建物、航空機、植物、動物など、幅広い現実世界の視覚的実体を生成する能力に焦点をあてる。 その結果、最も高度なテキスト・画像モデルでさえ、正確な視覚的詳細を持つエンティティを生成できないことが判明した。
  論文  参考訳（メタデータ） (2024-10-15T17:50:37Z)
• Generating Synthetic Satellite Imagery With Deep-Learning Text-to-Image Models -- Technical Challenges and Implications for Monitoring and Verification [46.42328086160106]
  コンディショニング機構を用いて合成衛星画像の作成方法について検討する。 評価結果は,信頼性と最先端の指標に基づいて評価する。 本稿では,衛星画像の監視と検証の文脈における意義について論じる。
  論文  参考訳（メタデータ） (2024-04-11T14:00:20Z)
• Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
  我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。 提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。 生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-10-09T10:22:08Z)
• PUG: Photorealistic and Semantically Controllable Synthetic Data for Representation Learning [31.81199165450692]
  制御性とリアリズムを両立する表現学習研究のための対話型環境を新たに提案する。 エンターテイメント業界で有名な強力なゲームエンジンであるUnreal Engineを使用して、表現学習のためのPUG環境とデータセットを生成します。
  論文  参考訳（メタデータ） (2023-08-08T01:33:13Z)
• CarPatch: A Synthetic Benchmark for Radiance Field Evaluation on Vehicle Components [77.33782775860028]
  車両の新たな総合ベンチマークであるCarPatchを紹介する。 内在カメラパラメータと外在カメラパラメータを付加した画像のセットに加えて、各ビューに対して対応する深度マップとセマンティックセグメンテーションマスクが生成されている。 グローバルとパートベースのメトリクスは、いくつかの最先端技術を評価し、比較し、より良い特徴付けるために定義され、使われてきた。
  論文  参考訳（メタデータ） (2023-07-24T11:59:07Z)
• Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
  検索用テキスト・ツー・イメージ・ジェネレータ(再画像) 検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
  論文  参考訳（メタデータ） (2022-09-29T00:57:28Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)
• Image-to-Image Translation of Synthetic Samples for Rare Classes [3.04585143845864]
  いくつか例から学ぶことは、ディープラーニングベースの分類アルゴリズムの課題として知られている。 これらの希少クラスのトレーニングデータを増やすための潜在的アプローチは、限られた実データを合成サンプルで増強することである。 これは役に立つことが示されているが、実際のデータでテストした場合、実データと合成データのドメインシフトはアプローチの有効性を妨げている。
  論文  参考訳（メタデータ） (2021-06-23T07:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。