論文の概要: Towards a Unified Framework of Contrastive Learning for Disentangled Representations

• arxiv url: http://arxiv.org/abs/2311.04774v1
• Date: Wed, 8 Nov 2023 15:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 15:25:00.452356
• Title: Towards a Unified Framework of Contrastive Learning for Disentangled Representations
• Title（参考訳）: 対立表現に対するコントラスト学習の統一的枠組みに向けて
• Authors: Stefan Matthes, Zhiwei Han, Hao Shen
• Abstract要約: 本稿では, より広範なコントラスト的手法のファミリーに対して, 解離の理論的保証を拡大する。 本稿では,本論文で研究した4つの対照的な損失に対して,真の潜伏者の識別可能性を示す。 理論的な結果は、いくつかのベンチマークデータセットで検証されている。
• 参考スコア（独自算出の注目度）: 8.404937540647971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has recently emerged as a promising approach for learning data representations that discover and disentangle the explanatory factors of the data. Previous analyses of such approaches have largely focused on individual contrastive losses, such as noise-contrastive estimation (NCE) and InfoNCE, and rely on specific assumptions about the data generating process. This paper extends the theoretical guarantees for disentanglement to a broader family of contrastive methods, while also relaxing the assumptions about the data distribution. Specifically, we prove identifiability of the true latents for four contrastive losses studied in this paper, without imposing common independence assumptions. The theoretical findings are validated on several benchmark datasets. Finally, practical limitations of these methods are also investigated.
• Abstract（参考訳）: コントラスト学習は、データの説明的要素を発見し、歪ませるデータ表現を学ぶための有望なアプローチとして最近登場した。 このような手法の以前の分析は、ノイズコントラスト推定(NCE)やInfoNCEなど、個々の対照的な損失に主に焦点を当てており、データ生成プロセスに関する特定の仮定に依存している。 本稿では,データ分布に関する仮定を緩和しつつ,より広範なコントラスト的手法のファミリーに解離の理論的保証を拡大する。 具体的には,本論文で研究した4つの対照損失に対する真の潜在要因の同定可能性を示す。 理論的な結果はいくつかのベンチマークデータセットで検証される。 最後に,本手法の実用的限界についても検討した。

関連論文リスト

• Uncertainty Quantification via Hölder Divergence for Multi-View Representation Learning [18.419742575630217]
  本稿では,H"older Divergence (HD)に基づく新しいアルゴリズムを導入し,多視点学習の信頼性を高める。 デンプスター・シェーファー理論を通じて、異なるモダリティからの不確実性の統合により、包括的な結果が生成される。 数学的には、HDは実際のデータ分布とモデルの予測分布の間の距離'をよりよく測定できることを証明している。
  論文  参考訳（メタデータ） (2024-10-29T04:29:44Z)
• Assumption-Lean Post-Integrated Inference with Negative Control Outcomes [0.0]
  負の制御結果を用いて遅延不均一性を調整する頑健なポストインテグレート推論(PII)手法を提案する。 我々の仮定リーン半推論手法は、仲介者、共同設立者、モデレーターを考慮に入れた予測された直接効果推定に頑健さと一般性を広げる。 提案した二重頑健な推定器は最小限の仮定の下で一貫性があり、機械学習アルゴリズムによるデータ適応推定を容易にする。
  論文  参考訳（メタデータ） (2024-10-07T12:52:38Z)
• Demystifying amortized causal discovery with transformers [21.058343547918053]
  観測データからの因果発見のための教師付き学習アプローチは、しばしば競争性能を達成する。 本研究では,CSIvAについて検討する。CSIvAは,合成データのトレーニングと実データへの転送を約束するトランスフォーマーモデルである。 既存の識別可能性理論とギャップを埋め、トレーニングデータ分布の制約がテスト観測の事前を暗黙的に定義していることを示します。
  論文  参考訳（メタデータ） (2024-05-27T08:17:49Z)
• DAGnosis: Localized Identification of Data Inconsistencies using Structures [73.39285449012255]
  機械学習モデルを確実に使用するためには、デプロイメント時のデータの不整合の特定と適切な処理が不可欠である。 我々は,有向非巡回グラフ(DAG)を用いて,トレーニングセットの特徴分布と非依存性を構造として符号化する。 我々の手法はDAGnosisと呼ばれ、これらの構造的相互作用を利用して、価値があり洞察に富んだデータ中心の結論をもたらす。
  論文  参考訳（メタデータ） (2024-02-26T11:29:16Z)
• Assumption violations in causal discovery and the robustness of score matching [38.60630271550033]
  本稿では、最近の因果発見手法の観測データに対する実証的性能を広範囲にベンチマークする。 スコアマッチングに基づく手法は、推定されたグラフの偽陽性と偽陰性率において驚くべき性能を示すことを示す。 本論文は,因果発見手法の評価のための新しい基準を策定することを願っている。
  論文  参考訳（メタデータ） (2023-10-20T09:56:07Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。