論文の概要: The "Law" of the Unconscious Contrastive Learner: Probabilistic Alignment of Unpaired Modalities

• arxiv url: http://arxiv.org/abs/2501.11326v1
• Date: Mon, 20 Jan 2025 08:10:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:23.457903
• Title: The "Law" of the Unconscious Contrastive Learner: Probabilistic Alignment of Unpaired Modalities
• Title（参考訳）: 無意識的コントラスト学習者の「法」--不適切なモダリティの確率的アライメント
• Authors: Yongwei Che, Benjamin Eysenbach,
• Abstract要約: 本稿では, 対比表現の幾何学的解釈と確率論的解釈について述べる。 これらの表現が確率的グラフィカルモデルと同じ推論の多くにどのように答えるかを示す。 分析では、事前学習されたコントラストモデルを用いた設定でのコントラスト表現と、強化学習における言語あいまいさの2つの新しい方法を提案する。
• 参考スコア（独自算出の注目度）: 23.188014611990152
• License:
• Abstract: While internet-scale data often comes in pairs (e.g., audio/image, image/text), we often want to perform inferences over modalities unseen together in the training data (e.g., audio/text). Empirically, this can often be addressed by learning multiple contrastive embedding spaces between existing modality pairs, implicitly hoping that unseen modality pairs will end up being aligned. This theoretical paper proves that this hope is well founded, under certain assumptions. Starting with the proper Bayesian approach of integrating out intermediate modalities, we show that directly comparing the representations of data from unpaired modalities can recover the same likelihood ratio. Our analysis builds on prior work on the geometry and probabilistic interpretation of contrastive representations, showing how these representations can answer many of the same inferences as probabilistic graphical models. Our analysis suggests two new ways of using contrastive representations: in settings with pre-trained contrastive models, and for handling language ambiguity in reinforcement learning. Our numerical experiments study the importance of our assumptions and demonstrate these new applications.
• Abstract（参考訳）: インターネットスケールのデータにはペア(例えば、オーディオ/イメージ、画像/テキスト)が伴うことが多いが、トレーニングデータ(例えば、オーディオ/テキスト)では、モダリティに対して一緒に見えない推論を実行したい場合が多い。 経験的には、これは既存のモダリティ対の間に複数の対照的な埋め込み空間を学習することで解決され、目に見えないモダリティ対が整列することを期待している。 この理論的な論文は、ある仮定の下で、この希望が十分に確立されていることを証明している。 中間モダリティを積分する適切なベイズ的アプローチから始め、未ペアのモダリティからのデータの表現を直接比較することで、同じ確率比を回復できることを示す。 我々の分析は、比較表現の幾何学的および確率論的解釈に関する先行研究に基づいており、これらの表現が確率的グラフィカルモデルと同じ推論の多くにどのように答えるかを示している。 分析では、事前学習されたコントラストモデルを用いた設定におけるコントラスト表現と、強化学習における言語あいまいさの2つの新しい方法が示唆された。 我々の数値実験は、我々の仮定の重要性を研究し、これらの新しい応用を実証する。

関連論文リスト

• Exploring new ways: Enforcing representational dissimilarity to learn new features and reduce error consistency [1.7497479054352052]
  非常に異なる中間表現は相関の少ない出力予測と若干の誤差整合性をもたらすことを示す。 これにより、中間表現間の接続とその出力予測への影響について、第1の光を当てる。
  論文  参考訳（メタデータ） (2023-07-05T14:28:46Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• On the Importance of Contrastive Loss in Multimodal Learning [34.91089650516183]
  簡単なマルチモーダルコントラスト学習モデルのトレーニングダイナミクスを解析する。 モデルが学習した表現の効率よくバランスをとるためには,コントラスト対が重要であることを示す。
  論文  参考訳（メタデータ） (2023-04-07T16:25:18Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
  本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。 マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。 本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
  論文  参考訳（メタデータ） (2020-06-23T16:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。