論文の概要: OmniRSI: Taming Latent Diffusion for Unified Multimodal Remote Sensing Image Generation
- arxiv url: http://arxiv.org/abs/2610.15414v1
- Date: Sun, 11 Oct 2026 07:32:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 01:16:48.263426
- Title: OmniRSI: Taming Latent Diffusion for Unified Multimodal Remote Sensing Image Generation
- Title（参考訳）: OmniRSI:統合マルチモーダルリモートセンシング画像生成のための遅延拡散処理
- Abstract要約: 我々は,マルチモーダルリモートセンシング画像生成モデルOmniRSIを提案する。
具体的には,マルチモーダル先行情報をキャプチャするリモートセンシング特異的変分オートエンコーダを開発する。
また,複数モーダル情報を生成することで,不完全な視覚条件を反復的に強化する学習自由巡回潜時アライメント機構を考案した。
- 参考スコア（独自算出の注目度）: 57.95351922560686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal remote sensing image generation emerges as a promising paradigm for recovering complete and complementary observations from heterogeneous and partially observed remote sensing data. However, existing methods predominantly depend on sensor-specific fine-tuning of natural image generation models, limiting unified multimodal generation capacity due to the absence of shared representations and robust conditioning mechanisms. To address these challenges, we propose OmniRSI, a unified multimodal remote sensing image generation model. Specifically, we develop a remote sensing-specific variational autoencoder that captures multimodal priors and promotes a locally smooth latent space for unified representation and robust reconstruction across diverse observed data. Building upon that, we fully adapt Stable Diffusion 3.5 with a ControlNet branch to support unified multimodal generation and translation conditioned on textual and visual cues. Besides, we devise a training-free cyclic latent alignment mechanism that iteratively enriches incomplete visual conditions with generated multimodal information, progressively improving guidance reliability while preserving observed measurements. We also construct RSI-MM, a large-scale dataset comprising 11.5M multi-resolution images with text annotations and partially paired data for training and evaluation. Extensive experiments verify that OmniRSI achieves superior performance in multimodal reconstruction, generation and translation.
- Abstract（参考訳）: 多モードリモートセンシング画像生成は、異種および部分的に観測されたリモートセンシングデータから完全かつ相補的な観察を回復するための、有望なパラダイムとして出現する。
しかし、既存の手法は主にセンサ固有の自然画像生成モデルの微調整に依存しており、共有表現やロバストな条件付け機構が存在しないため、統一されたマルチモーダル生成能力を制限する。
これらの課題に対処するため、我々はマルチモーダルリモートセンシング画像生成モデルであるOmniRSIを提案する。
具体的には、マルチモーダルな先行情報をキャプチャし、局所的に滑らかなラテント空間を促進し、多様な観測データにまたがる統一表現とロバストな再構成を実現するリモートセンシング特異的変分オートエンコーダを開発する。
その上で、テキストとビジュアルのキューで条件付きで統一されたマルチモーダル生成と翻訳をサポートするために、Stable Diffusion 3.5をControlNetブランチで完全に適応します。
さらに,複数モーダル情報を生成することで,不完全な視覚条件を反復的に強化し,測定値の保存を図りながら指導の信頼性を段階的に向上させる,トレーニング不要な巡回潜時アライメント機構を考案した。
また,テキストアノテーションによる11.5万のマルチ解像度画像と,トレーニングと評価のための部分的にペア化されたデータからなる大規模データセットであるRSI-MMを構築した。
OmniRSIはマルチモーダル再構築,生成,翻訳において優れた性能を示す。
関連論文リスト
- Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation [11.968715761366989]
マルチモーダルリモートセンシング画像生成のためのコントラストパラメータ分散フレームワークを提案する。
1つのテキストプロンプトから複数のモーダルをまたいだ意味的一貫性と構造的整合性の画像を生成する。
提案手法は, 生成品質, 意味的整合性, 構造的整合性の観点から, 最先端のリモートセンシング画像生成手法より優れている。
論文 参考訳（メタデータ） (2026-07-26T14:21:06Z) - OmniGen: Unified Multimodal Sensor Generation for Autonomous Driving [58.693329943871355]
我々は,一貫したフレームワークでアライメントされたマルチモーダルセンサデータを生成するOminiGenを提案する。
このアプローチでは、共有のBirdu 2019s Eye View(BEV)スペースを活用して、マルチモーダル機能を統合する。
UAEはボリュームレンダリングによるマルチモーダルセンサデコーディングを実現し、正確で柔軟な再構築を可能にする。
論文 参考訳（メタデータ） (2025-12-16T09:18:15Z) - Vision-Enhanced Large Language Models for High-Resolution Image Synthesis and Multimodal Data Interpretation [0.0]
本研究では,視覚拡張大言語モデル(LLM)と高度なトランスフォーマベースアーキテクチャを統合するための変換フレームワークを提案する。
提案モデルでは, ノイズとデータを線形経路に接続し, 効率的かつ高品質な生成を可能にする整流機構を組み込んだ。
このフレームワークは、合成画像とコヒーレントなマルチモーダル表現において、非平行な忠実性を達成する。
論文 参考訳（メタデータ） (2025-12-14T08:28:50Z) - Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。
パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
論文 参考訳（メタデータ） (2025-12-08T05:04:54Z) - Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。
本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。
実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2025-09-30T17:59:46Z) - Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation [63.50827603618498]
マルチモーダル理解と生成のための統一型マスク付き拡散モデル(MDM)であるLavida-Oを提案する。
Lavida-Oは、画像レベルの理解、オブジェクトのグラウンド化、画像編集、高解像度のテキスト・ツー・イメージ合成を可能にする単一のフレームワークを提供する。
Lavida-Oは、RefCOCOオブジェクトグラウンド、GenEvalテキスト画像生成、ImgEdit画像編集など、幅広いベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-09-23T17:05:46Z) - JCo-MVTON: Jointly Controllable Multi-Modal Diffusion Transformer for Mask-Free Virtual Try-on [15.59886380067986]
JCo-MVTONは、拡散に基づく画像生成とマルチモーダル条件融合を統合することで制限を克服する新しいフレームワークである。
DressCodeなどの公開ベンチマークで最先端のパフォーマンスを実現し、測定値と人的評価の両方において、既存のメソッドよりも大幅に優れています。
論文 参考訳（メタデータ） (2025-08-25T02:43:57Z) - CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。
本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。
我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
論文 参考訳（メタデータ） (2025-03-25T17:59:50Z) - Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception [17.11366229887873]
我々は、統合事前訓練戦略、NeRF-Supervised Masked Auto(NS-MAE)を導入する。
NS-MAEは、外観と幾何学の両方を符号化するNeRFの能力を利用して、マルチモーダルデータの効率的なマスク付き再構築を可能にする。
結果: NS-MAE は SOTA 事前学習法よりも優れており,各モードに対して個別の戦略を用いる。
論文 参考訳（メタデータ） (2024-05-28T08:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。