論文の概要: Can multimodal representation learning by alignment preserve modality-specific information?

• arxiv url: http://arxiv.org/abs/2509.17943v1
• Date: Mon, 22 Sep 2025 16:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.483998
• Title: Can multimodal representation learning by alignment preserve modality-specific information?
• Title（参考訳）: アライメントによるマルチモーダル表現学習はモダリティ固有の情報を保存することができるか?
• Authors: Romain Thoreau, Jessie Levillain, Dawa Derksen,
• Abstract要約: マルチモーダル表現学習技術は、同じ地理的領域で取得された異なるモーダルの衛星データ間の空間的アライメントを利用する。 仮定をシンプルにすると、アライメント戦略が基本的に情報損失につながることが示される。 我々は、マルチモーダル衛星データの組み合わせに関して、対照的な学習の新たな発展を支援したい。
• 参考スコア（独自算出の注目度）: 2.0816054646359805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining multimodal data is a key issue in a wide range of machine learning tasks, including many remote sensing problems. In Earth observation, early multimodal data fusion methods were based on specific neural network architectures and supervised learning. Ever since, the scarcity of labeled data has motivated self-supervised learning techniques. State-of-the-art multimodal representation learning techniques leverage the spatial alignment between satellite data from different modalities acquired over the same geographic area in order to foster a semantic alignment in the latent space. In this paper, we investigate how this methods can preserve task-relevant information that is not shared across modalities. First, we show, under simplifying assumptions, when alignment strategies fundamentally lead to an information loss. Then, we support our theoretical insight through numerical experiments in more realistic settings. With those theoretical and empirical evidences, we hope to support new developments in contrastive learning for the combination of multimodal satellite data. Our code and data is publicly available at https://github.com/Romain3Ch216/alg_maclean_25.
• Abstract（参考訳）: リモートセンシング問題を含む、幅広い機械学習タスクにおいて、マルチモーダルデータの組み合わせは重要な問題である。 地球観測では、初期のマルチモーダルデータ融合法は特定のニューラルネットワークアーキテクチャと教師あり学習に基づいていた。 それ以来、ラベル付きデータの不足は、自己教師付き学習技術を動機付けてきた。 最先端のマルチモーダル表現学習技術は、同じ地理的領域上で取得された異なるモダリティからの衛星データ間の空間的アライメントを利用して、潜在空間における意味的アライメントを促進する。 本稿では,この手法が,モダリティ間で共有されていないタスク関連情報をいかに保存できるかを検討する。 まず、仮定を単純化し、アライメント戦略が基本的に情報損失につながることを示す。 そして, 数値実験により, より現実的な環境下での理論的考察を支援する。 これらの理論的および実証的な証拠により、我々は、マルチモーダル衛星データの組み合わせについて、対照的な学習の新たな発展を支援したいと考えています。 私たちのコードとデータはhttps://github.com/Romain3Ch216/alg_maclean_25で公開されています。

関連論文リスト

• Continual Multimodal Contrastive Learning [99.53621521696051]
  MCL(Multimodal Contrastive Learning)は、異なるモダリティを整列し、関節空間におけるマルチモーダル表現を生成する。 マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。 本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。 理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
  論文  参考訳（メタデータ） (2025-03-19T07:57:08Z)
• An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
  マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。 Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
  論文  参考訳（メタデータ） (2024-10-31T14:57:31Z)
• Self-Supervised Multimodal Learning: A Survey [23.526389924804207]
  マルチモーダル学習は、複数のモーダルからの情報を理解し分析することを目的としている。 高価なヒューマンアノテーションと組み合わせたデータへの大きな依存は、モデルのスケールアップを妨げる。 大規模無意味なデータが野生で利用可能であることを考えると、自己教師型学習は、アノテーションボトルネックを軽減するための魅力的な戦略となっている。
  論文  参考訳（メタデータ） (2023-03-31T16:11:56Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)
• Generalized Zero-Shot Learning using Multimodal Variational Auto-Encoder with Semantic Concepts [0.9054540533394924]
  近年の手法では,意味空間と画像空間の相互マッピングの学習が試みられている。 画像特徴と意味空間の共有潜在空間を学習できるマルチモーダル変分自動エンコーダ(M-VAE)を提案する。 提案手法は, ゼロショット学習における最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-26T20:08:37Z)
• Enhancing ensemble learning and transfer learning in multimodal data analysis by adaptive dimensionality reduction [10.646114896709717]
  マルチモーダルデータ分析では、すべての観測が同じレベルの信頼性や情報品質を示すわけではない。 この問題を克服するために,次元削減のための適応的アプローチを提案する。 多様な研究分野で得られたマルチモーダルデータセットのアプローチをテストします。
  論文  参考訳（メタデータ） (2021-05-08T11:53:12Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Auxiliary-task learning for geographic data with autoregressive embeddings [1.4823143667165382]
  本研究では,空間データの自己回帰性に関する情報を学習プロセスに直接埋め込む手法であるSXLを提案する。 局所空間自己相関の一般的な尺度である局所モランIを用いて、局所空間効果の方向と大きさを学習する。 我々は,教師なしおよび教師なしの学習タスクにおいて,ニューラルネットワークのトレーニングを継続的に改善する方法について強調する。
  論文  参考訳（メタデータ） (2020-06-18T12:16:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。