論文の概要: Omni-RS: Unifying Multi-Task Understanding and Generation in Remote Sensing

• arxiv url: http://arxiv.org/abs/2610.18323v2
• Date: Mon, 19 Oct 2026 13:43:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-21 06:56:55.43605
• Title: Omni-RS: Unifying Multi-Task Understanding and Generation in Remote Sensing
• Title（参考訳）: Omni-RS:リモートセンシングにおけるマルチタスク理解と生成の統合
• Abstract要約: 我々は4つのリモートセンシング理解タスクと5つの世代タスクをサポートする統合フレームワークであるOmni-RSを提案する。 具体的には,マルチモーダルな大規模言語モデルをリモートセンシング理解に適用する「シーンガイド型2段階学習」戦略を提案する。 多様な生成タスクにまたがる共同学習を実現するために,統合マルチタスク生成データセットUniGenを構築した。
• 参考スコア（独自算出の注目度）: 24.7322656214499
• License:
• Abstract: Practical remote sensing applications often require both understanding and generation capabilities for the same geographic scene. However, most existing methods address either understanding or generation in isolation, while existing unified remote sensing models' generative ability is limited to text-to-image. To bridge this gap, we propose Omni-RS, a unified framework supporting four remote sensing understanding tasks and five generation tasks. Specifically, we introduce the "Scene-Guided Two-Stage Training" strategy, which first adapts a multimodal large language model to remote sensing understanding and then uses its hidden states to guide a diffusion transformer for image generation. To enable joint learning across diverse generation tasks, we construct UniGen, a unified multi-task generation dataset, by organizing heterogeneous remote sensing data into a unified format. Furthermore, we introduce "Detailed Visual Conditioning", which uses visual conditions encoded by a VAE to guide the generation process, thereby supporting additional generation tasks that require reference images. Extensive experiments demonstrate that Omni-RS performs exceptionally well in understanding tasks and has achieved outstanding results in a variety of generative tasks.
• Abstract（参考訳）: 実際のリモートセンシングアプリケーションは、同じ地理的シーンに対する理解と生成の両方の能力を必要とすることが多い。 しかし,既存のリモートセンシングモデルの生成能力はテキスト・ツー・イメージに限られている。 このギャップを埋めるために,4つのリモートセンシング理解タスクと5つの世代タスクをサポートする統合フレームワークであるOmni-RSを提案する。 具体的には、まずマルチモーダルな大規模言語モデルをリモートセンシング理解に適用し、その隠れ状態を用いて画像生成のための拡散変換器を誘導する「シーンガイド型2段階訓練」戦略を導入する。 多様な生成タスクにまたがる共同学習を実現するために、異種リモートセンシングデータを統一形式に整理し、統一されたマルチタスク生成データセットUniGenを構築する。 さらに、VAEによって符号化された視覚条件を用いて生成プロセスをガイドし、参照画像を必要とする追加生成タスクをサポートする「詳細ビジュアルコンディショニング」を導入する。 広範囲な実験により、Omni-RSは理解タスクにおいて非常によく機能し、様々な生成タスクにおいて優れた結果を得たことが示されている。

関連論文リスト

• OmniRSI: Taming Latent Diffusion for Unified Multimodal Remote Sensing Image Generation [57.95351922560686]
  我々は,マルチモーダルリモートセンシング画像生成モデルOmniRSIを提案する。 具体的には,マルチモーダル先行情報をキャプチャするリモートセンシング特異的変分オートエンコーダを開発する。 また,複数モーダル情報を生成することで,不完全な視覚条件を反復的に強化する学習自由巡回潜時アライメント機構を考案した。
  論文  参考訳（メタデータ） (2026-10-11T07:32:15Z)
• More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe [52.210953881548996]
  遠隔センシングベンチマークに挑戦することで,視覚言語モデルが競争力や最先端のパフォーマンスを達成可能であることを示す。 我々のモデルは、テキストで直接答えるか、セグメント化とグラウンド化のためにローカライズツールを呼び出すことができる単一の言語ポリシーを使用する。 提案手法は,高分解能,マルチテンポラル,マルチモーダル,マルチビュータスクを含む,幅広いベンチマークの競合性を実現する。
  論文  参考訳（メタデータ） (2026-07-17T13:25:44Z)
• Wan-Image: Pushing the Boundaries of Generative Visual Intelligence [86.08534008471356]
  Wan-Imageは、パラダイムシフト画像生成モデルに設計された統合ビジュアル生成システムである。 大規模マルチモーダルデータスケーリング、体系的な微粒化アノテーションエンジン、強化学習データによって実現されている。 最終的にWan-Imageは、eコマース、エンターテイメント、教育、そして個人の生産性で視覚的コンテンツの創造に革命をもたらす。
  論文  参考訳（メタデータ） (2026-04-21T17:58:58Z)
• Unison: A Fully Automatic, Task-Universal, and Low-Cost Framework for Unified Understanding and Generation [29.971317846027826]
  統一された理解と生成はマルチモーダル学習において非常に魅力的な研究方向である。 事前学習モデルの性能を良好に保ちつつ、2段階のスキームを取り入れたUnisonを提案する。 トレーニングコストが非常に低いため、テキスト、画像、ビデオ理解など、さまざまなマルチモーダル理解タスクをカバーしています。 また,ユーザの意図を自動的に解析し,目的のタスクタイプを判断し,対応するタスクに必要なメタ情報を正確に抽出する能力も備えている。
  論文  参考訳（メタデータ） (2025-12-08T17:34:15Z)
• TerraGen: A Unified Multi-Task Layout Generation Framework for Remote Sensing Data Augmentation [20.17595840637294]
  現在の生成データ拡張フレームワークはタスク分離されており、各ビジョンタスクは独立した生成モデルをトレーニングする必要がある。 リモートセンシング画像のフレキシブルかつ空間的に制御可能な合成を可能にする統合レイアウト・画像生成フレームワークである textbfTerraGen を提案する。
  論文  参考訳（メタデータ） (2025-10-24T12:29:12Z)
• VisualCloze: A Universal Image Generation Framework via Visual In-Context Learning [68.98988753763666]
  ユニバーサル画像生成フレームワークであるVisualClozeを提案する。 VisualClozeは、幅広いドメイン内タスク、見えないタスクへの一般化、複数のタスクの見えない統一、リバースジェネレーションをサポートする。 グラフ構造化データセットであるGraph200Kを導入し,タスク密度と伝達可能な知識を向上する。
  論文  参考訳（メタデータ） (2025-04-10T17:59:42Z)
• OmniGen: Unified Image Generation [25.75041469368185]
  我々は,統合画像生成のための新しい拡散モデルであるOmniGenを提案する。 画像編集、主観駆動生成、視覚条件生成など、さまざまな下流タスクをサポートする。 OmniGenのアーキテクチャは高度に単純化されており、追加のプラグインを必要としない。
  論文  参考訳（メタデータ） (2024-09-17T16:42:46Z)
• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。