論文の概要: InfoNCE: Identifying the Gap Between Theory and Practice

• arxiv url: http://arxiv.org/abs/2407.00143v1
• Date: Fri, 28 Jun 2024 16:08:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:10:29.077957
• Title: InfoNCE: Identifying the Gap Between Theory and Practice
• Title（参考訳）: InfoNCE:理論と実践のギャップを識別する
• Authors: Evgenia Rusak, Patrik Reizinger, Attila Juhos, Oliver Bringmann, Roland S. Zimmermann, Wieland Brendel,
• Abstract要約: 異方性設定における潜伏因子を確実に発見できるInfoNCEの一般化であるAnInfoNCEを紹介する。 CIFAR10 と ImageNet では,AnInfoNCE がダウンストリーム精度を犠牲にすることなく,以前に崩壊した情報の回復を増大させることを示す。
• 参考スコア（独自算出の注目度）: 15.744372232355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous theoretical work on contrastive learning (CL) with InfoNCE showed that, under certain assumptions, the learned representations uncover the ground-truth latent factors. We argue these theories overlook crucial aspects of how CL is deployed in practice. Specifically, they assume that within a positive pair, all latent factors either vary to a similar extent, or that some do not vary at all. However, in practice, positive pairs are often generated using augmentations such as strong cropping to just a few pixels. Hence, a more realistic assumption is that all latent factors change, with a continuum of variability across these factors. We introduce AnInfoNCE, a generalization of InfoNCE that can provably uncover the latent factors in this anisotropic setting, broadly generalizing previous identifiability results in CL. We validate our identifiability results in controlled experiments and show that AnInfoNCE increases the recovery of previously collapsed information in CIFAR10 and ImageNet, albeit at the cost of downstream accuracy. Additionally, we explore and discuss further mismatches between theoretical assumptions and practical implementations, including extensions to hard negative mining and loss ensembles.
• Abstract（参考訳）: InfoNCEによるコントラスト学習(CL)に関するこれまでの理論的研究は、ある仮定の下では、学習された表現が根本真正の潜伏因子を明らかにすることを示した。 これらの理論は、CLが実際にどのようにデプロイされるかの重要な側面を見落としている。 具体的には、正の対の中で、全ての潜伏因子が同じ程度に変化するか、あるいは全く変化しないものが存在すると仮定する。 しかし実際には、少数のピクセルに対して強い収穫などの増量によって正の対が生成されることが多い。 したがって、より現実的な仮定は、すべての潜伏因子が変化し、これらの因子の連続性が変化するということである。 本稿では、この異方性設定における潜伏因子を確実に発見できるInfoNCEの一般化であるAnInfoNCEを紹介し、CLにおける以前の識別可能性結果を広く一般化する。 CIFAR10 と ImageNet における AnInfoNCE がダウンストリーム精度を犠牲にしながら, 以前に崩壊した情報の回復率を高めることを示す。 さらに、理論的な仮定と実践的な実装のさらなるミスマッチを探求し、議論する。

関連論文リスト

• Unifying Causal Representation Learning with the Invariance Principle [21.375611599649716]
  因果表現学習は、高次元観測から潜伏因果変数を復元することを目的としている。 我々の主な貢献は、既存の因果表現学習アプローチの多くが、その表現を既知のデータ対称性に方法論的に整合させることである。
  論文  参考訳（メタデータ） (2024-09-04T14:51:36Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Identifying Linearly-Mixed Causal Representations from Multi-Node Interventions [14.586959818386765]
  因果表現学習において、複数の変数を1つの環境内の介入によって対象とすることができる最初の識別可能性結果を提供する。 我々のアプローチは、環境全体にわたる介入のカバレッジと多様性に関する一般的な仮定に基づいている。 理論的貢献に加えて,多ノード干渉データから因果表現を学習するための実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-05T16:05:00Z)
• C-Disentanglement: Discovering Causally-Independent Generative Factors under an Inductive Bias of Confounder [35.09708249850816]
  我々は,共同設立者の帰納的バイアスを明示する最初のフレームワークである,C-Disentanglement(C-Disentanglement)というフレームワークを紹介した。 我々は、合成データセットと実世界のデータセットの両方について広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-26T11:44:42Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
  我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。 突発効果の非パラメトリック分解を可能にする最初の結果を証明する。 説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
  論文  参考訳（メタデータ） (2023-06-08T09:40:28Z)
• Theory on Forgetting and Generalization of Continual Learning [41.85538120246877]
  連続学習(CL)は、一連のタスクを学習することを目的としている。 どの要因が重要か、それらが「破滅的な忘れ方」や一般化のパフォーマンスにどのように影響するかについて、理解の欠如がある。 本研究の結果は,最近の研究で興味深い経験的観察結果を説明するだけでなく,CLのより実用的なアルゴリズム設計の動機も示している。
  論文  参考訳（メタデータ） (2023-02-12T02:14:14Z)
• A Critical Look At The Identifiability of Causal Effects with Deep Latent Variable Models [2.326384409283334]
  ケーススタディとして因果効果変動オートエンコーダ(CEVAE)を用いる。 CEVAEはいくつかの単純なシナリオで確実に機能するように見えるが、不特定な潜在変数や複雑なデータ分布による正しい因果効果は特定できない。 その結果,識別可能性の問題は無視できないことが明らかとなり,今後の作業でさらに注意を払わなければならないと論じた。
  論文  参考訳（メタデータ） (2021-02-12T17:43:18Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
  変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。 本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。 その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
  論文  参考訳（メタデータ） (2020-04-18T20:09:34Z)
• Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
  インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。 変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。 我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。