論文の概要: FusDreamer: Label-efficient Remote Sensing World Model for Multimodal Data Classification

• arxiv url: http://arxiv.org/abs/2503.13814v1
• Date: Tue, 18 Mar 2025 01:45:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:16:15.648913
• Title: FusDreamer: Label-efficient Remote Sensing World Model for Multimodal Data Classification
• Title（参考訳）: FusDreamer:マルチモーダルデータ分類のためのラベル効率のよいリモートセンシング世界モデル
• Authors: Jinping Wang, Weiwei Song, Hao Chen, Jinchang Ren, Huimin Zhao,
• Abstract要約: 本稿では,マルチモーダルデータ融合(FusDreamer)のためのラベル効率のよいリモートセンシング世界モデルを提案する。 FusDreamerは、世界モデルを統一表現コンテナとして使用して、共通知識と高レベルの知識を抽象化する。 4つの典型的なデータセットで実施された実験は、提案されたFusDreamerの有効性と利点を示している。
• 参考スコア（独自算出の注目度）: 7.523866920738647
• License:
• Abstract: World models significantly enhance hierarchical understanding, improving data integration and learning efficiency. To explore the potential of the world model in the remote sensing (RS) field, this paper proposes a label-efficient remote sensing world model for multimodal data fusion (FusDreamer). The FusDreamer uses the world model as a unified representation container to abstract common and high-level knowledge, promoting interactions across different types of data, \emph{i.e.}, hyperspectral (HSI), light detection and ranging (LiDAR), and text data. Initially, a new latent diffusion fusion and multimodal generation paradigm (LaMG) is utilized for its exceptional information integration and detail retention capabilities. Subsequently, an open-world knowledge-guided consistency projection (OK-CP) module incorporates prompt representations for visually described objects and aligns language-visual features through contrastive learning. In this way, the domain gap can be bridged by fine-tuning the pre-trained world models with limited samples. Finally, an end-to-end multitask combinatorial optimization (MuCO) strategy can capture slight feature bias and constrain the diffusion process in a collaboratively learnable direction. Experiments conducted on four typical datasets indicate the effectiveness and advantages of the proposed FusDreamer. The corresponding code will be released at https://github.com/Cimy-wang/FusDreamer.
• Abstract（参考訳）: 世界モデルは階層的理解を著しく向上し、データ統合と学習効率を向上させる。 リモートセンシング(RS)分野における世界モデルの可能性を探るため,マルチモーダルデータ融合(FusDreamer)のためのラベル効率のよいリモートセンシング世界モデルを提案する。 FusDreamerは世界モデルを統一表現コンテナとして使用し、共通知識と高レベルの知識を抽象化し、さまざまな種類のデータ、 \emph{i.e.}、ハイパースペクトル(HSI)、光検出と測光(LiDAR)、テキストデータ間の相互作用を促進する。 当初,新しい潜伏拡散融合・マルチモーダル生成パラダイム (LaMG) が,情報統合と詳細保持機能に利用されていた。 その後、オープンワールドの知識誘導整合性予測(OK-CP)モジュールは、視覚的に記述されたオブジェクトのプロンプト表現を取り入れ、対照的な学習を通じて言語視覚的特徴を調整する。 このように、領域ギャップは、訓練済みの世界モデルを限られたサンプルで微調整することで橋渡しすることができる。 最後に、エンドツーエンドのマルチタスク組合せ最適化(MuCO)戦略は、わずかな特徴バイアスを捉え、拡散過程を協調的に学習可能な方向に制限することができる。 4つの典型的なデータセットで実施された実験は、提案されたFusDreamerの有効性と利点を示している。 対応するコードはhttps://github.com/Cimy-wang/FusDreamer.comでリリースされる。

関連論文リスト

• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• SpecSAR-Former: A Lightweight Transformer-based Network for Global LULC Mapping Using Integrated Sentinel-1 and Sentinel-2 [13.17346252861919]
  我々はDynamic World+データセットを導入し、現在の信頼できるマルチスペクトルデータセットDynamic Worldを拡張した。 マルチスペクトルとSARデータの組み合わせを容易にするために,SpecSAR-Formerと呼ばれる軽量トランスフォーマアーキテクチャを提案する。 我々のネットワークは、既存のトランスフォーマーとCNNベースのモデルより優れており、平均的なユニオンのインターセクション(mIoU)は59.58%、総合的精度(OA)は79.48%、F1スコアは71.68%、パラメータは26.70万である。
  論文  参考訳（メタデータ） (2024-10-04T22:53:25Z)
• MC-DBN: A Deep Belief Network-Based Model for Modality Completion [3.7020486533725605]
  我々は、MC-DBN(Modality Completion Deep Belief Network Based Model)を提案する。 このアプローチは、完全なデータの暗黙的な特徴を利用して、それ自体と追加の不完全なデータの間のギャップを補う。 拡張されたマルチモーダルデータは、実世界のダイナミックな性質と密接に一致し、モデルの有効性を高める。
  論文  参考訳（メタデータ） (2024-02-15T08:21:50Z)
• FedDiff: Diffusion Model Driven Federated Learning for Multi-Modal and Multi-Clients [32.59184269562571]
  我々はFedDiffと呼ばれる多モード協調拡散学習フレームワークを提案する。 本フレームワークは,2つのモーダルデータをエンコーダの別々の分岐に入力するデュアルブランチ拡散モデル特徴抽出設定を確立する。 複数のクライアント間のプライベートかつ効率的なコミュニケーションの課題を考慮し、拡散モデルを連合学習コミュニケーション構造に組み込む。
  論文  参考訳（メタデータ） (2023-11-16T02:29:37Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data [43.32085029569374]
  フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。 参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。 ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
  論文  参考訳（メタデータ） (2020-12-10T12:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。