論文の概要: Mitigating Modality Collapse in Multimodal VAEs via Impartial
Optimization
- arxiv url: http://arxiv.org/abs/2206.04496v1
- Date: Thu, 9 Jun 2022 13:29:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 15:27:11.169988
- Title: Mitigating Modality Collapse in Multimodal VAEs via Impartial
Optimization
- Title(参考訳): 等分的最適化によるマルチモーダルVAEのモダリティ崩壊の軽減
- Authors: Adri\'an Javaloy, Maryam Meghdadi and Isabel Valera
- Abstract要約: この効果はマルチモーダルVAEトレーニングにおける勾配の相反の結果である,と我々は主張する。
勾配が矛盾する計算グラフのサブグラフを検出する方法を示す。
実験により,本フレームワークは,モジュール間の遅延空間の再構成性能,条件生成,コヒーレンスを著しく向上させることを示した。
- 参考スコア(独自算出の注目度): 7.4262579052708535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A number of variational autoencoders (VAEs) have recently emerged with the
aim of modeling multimodal data, e.g., to jointly model images and their
corresponding captions. Still, multimodal VAEs tend to focus solely on a subset
of the modalities, e.g., by fitting the image while neglecting the caption. We
refer to this limitation as modality collapse. In this work, we argue that this
effect is a consequence of conflicting gradients during multimodal VAE
training. We show how to detect the sub-graphs in the computational graphs
where gradients conflict (impartiality blocks), as well as how to leverage
existing gradient-conflict solutions from multitask learning to mitigate
modality collapse. That is, to ensure impartial optimization across modalities.
We apply our training framework to several multimodal VAE models, losses and
datasets from the literature, and empirically show that our framework
significantly improves the reconstruction performance, conditional generation,
and coherence of the latent space across modalities.
- Abstract(参考訳): 多くの変分オートエンコーダ(vaes)が最近登場し、画像とそれに対応するキャプションを共同でモデル化するマルチモーダルデータのモデリングを目的としている。
それでも、マルチモーダルvaeは、キャプションを無視しながら画像を適合させることによって、モダリティのサブセットのみに焦点を当てる傾向がある。
この制限をモダリティ崩壊と呼ぶ。
本研究では,マルチモーダルvaeトレーニングにおける相反する勾配の結果として,この効果を論じる。
グラデーションが競合する計算グラフ(非偏性ブロック)のサブグラフを検出する方法と、マルチタスク学習から既存のグラデーション・コンフリクト解を活用してモダリティ崩壊を緩和する方法を示す。
つまり、モダリティ間の公平な最適化を保証する。
我々は,複数のマルチモーダルvaeモデル,文献からの損失とデータセットにトレーニングフレームワークを適用し,そのフレームワークがモーダリティをまたいだ潜在空間の復元性能,条件生成,コヒーレンスを大幅に改善できることを実証的に示した。
関連論文リスト
- Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳(メタデータ) (2023-11-06T13:56:57Z) - Lightweight In-Context Tuning for Multimodal Unified Models [57.10831399642176]
MultiModal In-conteXt Tuning (M$2$IXT)は、マルチモーダル統一モデルのICL機能を強化する軽量モジュールである。
最大50Kのマルチモーダルデータをチューニングすると、M$2$IXTは数ショットのICL性能を大幅に向上させることができる。
論文 参考訳(メタデータ) (2023-10-08T10:47:24Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳(メタデータ) (2023-03-10T14:38:49Z) - Improving Cross-modal Alignment for Text-Guided Image Inpainting [36.1319565907582]
テキスト誘導画像塗装(TGII)は、損傷した画像中の与えられたテキストに基づいて、行方不明領域を復元することを目的としている。
クロスモーダルアライメントを改善することで,TGIIの新たなモデルを提案する。
我々のモデルは、他の強力な競合相手と比較して最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-01-26T19:18:27Z) - Adaptive Contrastive Learning on Multimodal Transformer for Review
Helpfulness Predictions [40.70793282367128]
本稿では,MRHP(Multimodal Review Helpfulness Prediction)問題に対するマルチモーダルコントラスト学習を提案する。
さらに,コントラスト学習における適応重み付け方式を提案する。
最後に,マルチモーダルデータの不整合性に対処するマルチモーダルインタラクションモジュールを提案する。
論文 参考訳(メタデータ) (2022-11-07T13:05:56Z) - Image Generation with Multimodal Priors using Denoising Diffusion
Probabilistic Models [54.1843419649895]
このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。
本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
論文 参考訳(メタデータ) (2022-06-10T12:23:05Z) - Balanced Multimodal Learning via On-the-fly Gradient Modulation [10.5602074277814]
マルチモーダル学習は、異なる感覚を統合することで、世界を包括的に理解するのに役立つ。
学習目標に対する貢献の相違をモニタリングすることで,各モードの最適化を適応的に制御するオンザフライ勾配変調を提案する。
論文 参考訳(メタデータ) (2022-03-29T08:26:38Z) - Weakly supervised segmentation with cross-modality equivariant
constraints [7.757293476741071]
弱い教師付き学習は、セマンティックセグメンテーションにおける大きなラベル付きデータセットの必要性を軽減するための魅力的な代替手段として登場した。
本稿では,マルチモーダル画像シナリオにおける自己スーパービジョンを活用した新しい学習戦略を提案する。
私たちのアプローチは、同じ学習条件下で関連する最近の文学を上回ります。
論文 参考訳(メタデータ) (2021-04-06T13:14:20Z) - Robust Latent Representations via Cross-Modal Translation and Alignment [36.67937514793215]
ほとんどのマルチモーダル機械学習手法では、トレーニングに使用されるすべてのモダリティをテストに利用する必要がある。
この制限に対処するため、トレーニング中のみに複数のモーダルを用いてユニモーダルシステムのテスト性能を向上させることを目的としている。
提案するマルチモーダルトレーニングフレームワークは、クロスモーダル変換と相関に基づく潜在空間アライメントを用いる。
論文 参考訳(メタデータ) (2020-11-03T11:18:04Z) - MuCAN: Multi-Correspondence Aggregation Network for Video
Super-Resolution [63.02785017714131]
ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。
フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。
VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
論文 参考訳(メタデータ) (2020-07-23T05:41:27Z) - Multiscale Deep Equilibrium Models [162.15362280927476]
マルチスケールディープ均衡モデル(MDEQ)を新たに提案する。
MDEQは、複数の特徴分解の平衡点を直接解き、同時に伝播する。
本稿では,Cityscapesデータセットの高解像度画像に対するイメージネット分類とセマンティックセグメンテーションの2つの大規模ビジョンタスクにおけるこのアプローチの有効性について述べる。
論文 参考訳(メタデータ) (2020-06-15T18:07:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。