論文の概要: On the Importance of Contrastive Loss in Multimodal Learning
- arxiv url: http://arxiv.org/abs/2304.03717v1
- Date: Fri, 7 Apr 2023 16:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 11:27:21.935956
- Title: On the Importance of Contrastive Loss in Multimodal Learning
- Title（参考訳）: マルチモーダル学習におけるコントラスト損失の重要性について
- Authors: Yunwei Ren, Yuanzhi Li
- Abstract要約: 簡単なマルチモーダルコントラスト学習モデルのトレーニングダイナミクスを解析する。
モデルが学習した表現の効率よくバランスをとるためには,コントラスト対が重要であることを示す。
- 参考スコア（独自算出の注目度）: 34.91089650516183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, contrastive learning approaches (e.g., CLIP (Radford et al., 2021))
have received huge success in multimodal learning, where the model tries to
minimize the distance between the representations of different views (e.g.,
image and its caption) of the same data point while keeping the representations
of different data points away from each other. However, from a theoretical
perspective, it is unclear how contrastive learning can learn the
representations from different views efficiently, especially when the data is
not isotropic. In this work, we analyze the training dynamics of a simple
multimodal contrastive learning model and show that contrastive pairs are
important for the model to efficiently balance the learned representations. In
particular, we show that the positive pairs will drive the model to align the
representations at the cost of increasing the condition number, while the
negative pairs will reduce the condition number, keeping the learned
representations balanced.
- Abstract（参考訳）: 近年、対照的な学習アプローチ(例: clip (radford et al., 2021))は、異なるデータポイントの表現を互いに遠ざけながら、同じデータポイントの異なるビュー(例えば、画像とそのキャプション)の表現間の距離を最小化しようとするマルチモーダル学習において、大きな成功を収めている。
しかし、理論的観点からは、特にデータが等方的でない場合、異なる視点からの表現を効率的に学習できるかは明らかではない。
本研究では,単純なマルチモーダルコントラスト学習モデルの学習ダイナミクスを分析し,コントラストペアが学習表現を効率的にバランスさせる上で重要であることを示す。
特に、正のペアはモデルに条件数を増やすコストで表現を整列させ、負のペアは条件数を減少させ、学習した表現はバランスを保つ。
関連論文リスト
- Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳（メタデータ） (2024-02-09T07:18:06Z) - Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。
自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。
本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
論文 参考訳（メタデータ） (2023-03-02T07:44:06Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳（メタデータ） (2023-02-28T22:14:33Z) - Improving Tail-Class Representation with Centroid Contrastive Learning [145.73991900239017]
本稿では,長い尾を持つ表現学習を改善するために,補間型セントロイドコントラスト学習(ICCL)を提案する。
ICCLは、クラス別サンプルとクラス別サンプルの2つの画像を補間し、ICCLの表現が両方のソースクラスのセントロイドを取得するために使用されるようにモデルを訓練する。
我々の結果は、現実世界の長い尾の分布を持つiNaturalist 2018データセットで2.8%の精度向上を示した。
論文 参考訳（メタデータ） (2021-10-19T15:24:48Z) - Investigating the Role of Negatives in Contrastive Representation
Learning [59.30700308648194]
ノイズコントラスト学習は教師なし表現学習の一般的な手法である。
我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。
結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
論文 参考訳（メタデータ） (2021-06-18T06:44:16Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-18T07:47:10Z) - Quantifying and Mitigating Privacy Risks of Contrastive Learning [4.909548818641602]
我々は、会員推定と属性推論のレンズを通して、コントラスト学習の最初のプライバシ分析を行う。
その結果,コントラストモデルではメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示唆された。
この状況を改善するため,プライバシ保護型コントラスト学習機構であるTalosを提案する。
論文 参考訳（メタデータ） (2021-02-08T11:38:11Z) - Contrastive learning, multi-view redundancy, and linear models [38.80336134485453]
表現学習に対する一般的な自己指導的アプローチは、対照的な学習である。
この研究は、マルチビュー設定におけるコントラスト学習の理論分析を提供する。
論文 参考訳（メタデータ） (2020-08-24T01:31:47Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。
変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。
我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
論文 参考訳（メタデータ） (2020-02-07T16:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。