論文の概要: RedCore: Relative Advantage Aware Cross-modal Representation Learning
for Missing Modalities with Imbalanced Missing Rates
- arxiv url: http://arxiv.org/abs/2312.10386v1
- Date: Sat, 16 Dec 2023 08:51:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 16:53:28.726610
- Title: RedCore: Relative Advantage Aware Cross-modal Representation Learning
for Missing Modalities with Imbalanced Missing Rates
- Title（参考訳）: redcore:不均衡な欠落率を持つ欠落モダリティに対するクロスモーダル表現学習の相対的優位性
- Authors: Jun Sun, Xinxin Zhang, Shoukang Han, Yu-ping Ruan, Taihao Li
- Abstract要約: マルチモーダル学習はモダリティの欠如の影響を受けやすいため、その実践的応用には大きな障害が生じる。
本稿では、欠落したモダリティのクロスモーダル表現学習のための変動情報ボトルネック(VIB)手法を提案する。
双方向最適化問題を定式化し、トレーニング中のすべてのモダリティの監督を適応的に規制する。
- 参考スコア（独自算出の注目度）: 10.365568525125141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal learning is susceptible to modality missing, which poses a major
obstacle for its practical applications and, thus, invigorates increasing
research interest. In this paper, we investigate two challenging problems: 1)
when modality missing exists in the training data, how to exploit the
incomplete samples while guaranteeing that they are properly supervised? 2)
when the missing rates of different modalities vary, causing or exacerbating
the imbalance among modalities, how to address the imbalance and ensure all
modalities are well-trained? To tackle these two challenges, we first introduce
the variational information bottleneck (VIB) method for the cross-modal
representation learning of missing modalities, which capitalizes on the
available modalities and the labels as supervision. Then, accounting for the
imbalanced missing rates, we define relative advantage to quantify the
advantage of each modality over others. Accordingly, a bi-level optimization
problem is formulated to adaptively regulate the supervision of all modalities
during training. As a whole, the proposed approach features \textbf{Re}lative
a\textbf{d}vantage aware \textbf{C}ross-m\textbf{o}dal \textbf{r}epresentation
l\textbf{e}arning (abbreviated as \textbf{RedCore}) for missing modalities with
imbalanced missing rates. Extensive empirical results demonstrate that RedCore
outperforms competing models in that it exhibits superior robustness against
either large or imbalanced missing rates.
- Abstract（参考訳）: マルチモーダル学習はモダリティの欠如の影響を受けやすいため、その実践的応用には大きな障害となり、研究の関心が高まりつつある。
本稿では,2つの課題について考察する。
1) トレーニングデータにモダリティが欠如している場合, 適切に管理されていることを保証しつつ, 不完全なサンプルをどう活用するか。
2) 異なるモダリティの欠落率が変化し、モダリティの不均衡を発生または悪化させる場合、不均衡に対処し、すべてのモダリティが十分に訓練されているか。
この2つの課題に取り組むために,まず,利用可能なモダリティとラベルを監督として活用する,欠落モダリティのクロスモーダル表現学習のための変分情報ボトルネック(vib)手法を導入する。
そして,不均衡な欠落率を考慮し,他者に対する各モダリティの利点を定量化する相対的優位性を定義する。
したがって、二段階最適化問題を定式化し、訓練中のすべてのモダリティの監督を適応的に規制する。
全体として、提案されたアプローチは、不均衡な欠落率のモダリティを欠くために、 \textbf{re}lative a\textbf{d}vantage aware \textbf{c}ross-m\textbf{o}dal \textbf{r}epresentation l\textbf{e}arning (略して \textbf{redcore})である。
大規模な実験結果によると、RedCoreは競合モデルよりも優れており、大きなまたは不均衡の欠落率に対して優れた堅牢性を示している。
関連論文リスト
- Deep Correlated Prompting for Visual Recognition with Missing Modalities [22.40271366031256]
大規模マルチモーダルモデルでは、ペア化された大規模マルチモーダルトレーニングデータを用いて、一連のタスクに対して優れた性能を示す。
しかし、プライバシーの制約やコレクションの難しさのために、この単純な仮定が現実の世界で常に成り立つとは限らない。
そこで本研究では,大規模事前学習型マルチモーダルモデルを用いて,欠落事例を異なる入力タイプとして扱うことで,欠落したモダリティシナリオに対処する学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-09T05:28:43Z) - Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。
これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。
自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-17T14:44:25Z) - Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity [9.811378971225727]
本稿では、欠落したモダリティに関する現在の研究を低データ体制に拡張する。
フルモダリティデータと十分なアノテートされたトレーニングサンプルを取得することは、しばしばコストがかかる。
本稿では,この2つの重要な問題に対処するために,検索強化したテキスト内学習を提案する。
論文 参考訳（メタデータ） (2024-03-14T14:19:48Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Fairness Improves Learning from Noisily Labeled Long-Tailed Data [119.0612617460727]
長い尾とノイズの多いラベル付きデータは、現実世界のアプリケーションに頻繁に現れ、学習に重大な課題を課す。
2つのサブポピュレーション間のパフォーマンスギャップを正規化することから着想を得たFairness Regularizer(FR)を導入する。
導入したフェアネス正則化器は,尾部のサブポピュレーションと全体的な学習性能を向上することを示す。
論文 参考訳（メタデータ） (2023-03-22T03:46:51Z) - Revisiting Modality Imbalance In Multimodal Pedestrian Detection [6.7841188753203046]
本稿では,マルチモーダルアーキテクチャにおける正規化器を用いた新しいトレーニング構成を導入し,モーダル間の相違を解消する。
具体的には,2つの特徴抽出器を訓練中に同等に重要視することにより,特徴融合法をより堅牢にすることを支援する。
論文 参考訳（メタデータ） (2023-02-24T11:56:57Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳（メタデータ） (2023-02-22T14:50:24Z) - MM-Align: Learning Optimal Transport-based Alignment Dynamics for Fast
and Accurate Inference on Missing Modality Sequences [32.42505193560884]
本稿では,MM-Align という新しい手法を提案する。
MM-Alignは、モダリティシーケンス間のアライメントのダイナミクスをキャプチャし、模倣することを学ぶ。
提案手法は, より正確で高速な推定を行い, 種々の不足条件下での過度適合を緩和することができる。
論文 参考訳（メタデータ） (2022-10-23T17:44:56Z) - Correlation Information Bottleneck: Towards Adapting Pretrained
Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。
マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文 参考訳（メタデータ） (2022-09-14T22:04:10Z) - Adversarial Dual-Student with Differentiable Spatial Warping for
Semi-Supervised Semantic Segmentation [70.2166826794421]
本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。
また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。
我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
論文 参考訳（メタデータ） (2022-03-05T17:36:17Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。