論文の概要: WeatherDG: LLM-assisted Procedural Weather Generation for Domain-Generalized Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2410.12075v1
• Date: Tue, 15 Oct 2024 21:29:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:01.495573
• Title: WeatherDG: LLM-assisted Procedural Weather Generation for Domain-Generalized Semantic Segmentation
• Title（参考訳）: WeatherDG:LLMによるドメイン一般化セマンティックセマンティックセグメンテーションのための手続き型気象生成
• Authors: Chenghao Qian, Yuhu Guo, Yuhong Mo, Wenjing Li,
• Abstract要約: 本研究では,現実的な,天気の多様性,運転画面の画像を生成するための新しいアプローチであるWeatherDGを提案する。 まず、ソースデータでSDを微調整し、生成されたサンプルの内容とレイアウトを現実世界の運転シナリオに合わせる。 我々は,様々な気象条件下で,SDが高度に調整されたクラスのオブジェクトを生成することを奨励するバランスのとれた生成戦略を導入する。
• 参考スコア（独自算出の注目度）: 4.141230571282547
• License:
• Abstract: In this work, we propose a novel approach, namely WeatherDG, that can generate realistic, weather-diverse, and driving-screen images based on the cooperation of two foundation models, i.e, Stable Diffusion (SD) and Large Language Model (LLM). Specifically, we first fine-tune the SD with source data, aligning the content and layout of generated samples with real-world driving scenarios. Then, we propose a procedural prompt generation method based on LLM, which can enrich scenario descriptions and help SD automatically generate more diverse, detailed images. In addition, we introduce a balanced generation strategy, which encourages the SD to generate high-quality objects of tailed classes under various weather conditions, such as riders and motorcycles. This segmentation-model-agnostic method can improve the generalization ability of existing models by additionally adapting them with the generated synthetic data. Experiments on three challenging datasets show that our method can significantly improve the segmentation performance of different state-of-the-art models on target domains. Notably, in the setting of ''Cityscapes to ACDC'', our method improves the baseline HRDA by 13.9% in mIoU.
• Abstract（参考訳）: 本研究では,2つの基礎モデル,すなわち安定拡散(SD)と大規模言語モデル(LLM)の協調に基づいて,現実的,気象多様性,運転画面の画像を生成するための新しいアプローチであるWeatherDGを提案する。 具体的には、まずソースデータでSDを微調整し、生成されたサンプルの内容とレイアウトを実際の運転シナリオに合わせる。 次に,LSMに基づく手続き的プロンプト生成手法を提案し,シナリオ記述を充実させ,SDがより多様な詳細な画像を自動生成できるようにする。 さらに,ライダーやオートバイなど,様々な気象条件下で,SDが尾翼クラスの高品質なオブジェクトを生成することを奨励するバランスドジェネレーション戦略を導入する。 このセグメンテーション-モデル非依存法は、生成した合成データにそれらを付加することで、既存のモデルの一般化能力を向上させることができる。 3つの挑戦的データセットに対する実験により,本手法は対象領域における異なる最先端モデルのセグメンテーション性能を大幅に向上できることが示された。 特に,「ACDCの街並み」の設定では,mIoUの基準HRDAを13.9%改善する。

関連論文リスト

• MARS: Mesh AutoRegressive Model for 3D Shape Detailization [85.95365919236212]
  3次元形状詳細化のための新しいアプローチであるMARSを紹介する。 本稿では,次のLODトークン予測により,そのような潜在表現を生成するメッシュ自己回帰モデルを提案する。 挑戦的な3次元形状Detailizationベンチマークで行った実験により,提案したMARSモデルが最先端の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-17T03:12:16Z)
• [MASK] is All You Need [28.90875822599164]
  離散状態モデルを用いてMasked Generative と Non-autoregressive Diffusion を接続する。 離散状態モデルで[MASK]を活用することで、Masked Generative と Non-autoregressive Diffusion モデルを橋渡しできる。
  論文  参考訳（メタデータ） (2024-12-09T18:59:56Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Generative Modeling with Phase Stochastic Bridges [49.4474628881673]
  拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。 我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。 我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:38:28Z)
• Don't be so negative! Score-based Generative Modeling with Oracle-assisted Guidance [12.039478020062608]
  我々は新しい拡散確率モデル(DDPM)手法であるGen-neGを開発した。 提案手法は, 生成過程を誘導する拡散モデルにおいて, GAN(Generative Adversarial Network)と差別化誘導に基づいて構築する。 我々は、自動運転シミュレータにおける衝突回避や、安全で保護された人間の動き生成などの応用において、Gen-neGの有用性を実証的に確立する。
  論文  参考訳（メタデータ） (2023-07-31T07:52:00Z)
• T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified Visual Modalities [69.16656086708291]
  拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。 本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。 モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
  論文  参考訳（メタデータ） (2023-05-24T03:32:03Z)
• MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based Self-Supervised Pre-Training [58.07391711548269]
  Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
  論文  参考訳（メタデータ） (2023-03-23T17:59:02Z)
• Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models [58.357180353368896]
  本稿では,現実的で多様な3D骨格に基づく運動生成問題に対処するために,拡散確率モデル(DDPM)の利点を生かした条件付きパラダイムを提案する。 我々はDDPMを用いてカテゴリ的動作で条件付けられた動作列の可変数を合成する先駆的な試みである。
  論文  参考訳（メタデータ） (2023-01-10T13:15:42Z)
• Few-Shot Diffusion Models [15.828257653106537]
  条件付きDDPMを利用した数ショット生成のためのフレームワークであるFew-Shot Diffusion Models (FSDM)を提案する。 FSDMは、画像パッチ情報を集約することにより、所定のクラスからの小さな画像集合に条件付けされた生成プロセスに適応するように訓練される。 FSDMが数ショット生成を行い、新しいデータセットに転送できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-30T23:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。