論文の概要: InfoNCE: Identifying the Gap Between Theory and Practice

• arxiv url: http://arxiv.org/abs/2407.00143v1
• Date: Fri, 28 Jun 2024 16:08:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-04 06:10:29.077957
• Title: InfoNCE: Identifying the Gap Between Theory and Practice
• Title（参考訳）: InfoNCE:理論と実践のギャップを識別する
• Authors: Evgenia Rusak, Patrik Reizinger, Attila Juhos, Oliver Bringmann, Roland S. Zimmermann, Wieland Brendel,
• Abstract要約: 異方性設定における潜伏因子を確実に発見できるInfoNCEの一般化であるAnInfoNCEを紹介する。 CIFAR10 と ImageNet では,AnInfoNCE がダウンストリーム精度を犠牲にすることなく,以前に崩壊した情報の回復を増大させることを示す。
• 参考スコア（独自算出の注目度）: 15.744372232355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous theoretical work on contrastive learning (CL) with InfoNCE showed that, under certain assumptions, the learned representations uncover the ground-truth latent factors. We argue these theories overlook crucial aspects of how CL is deployed in practice. Specifically, they assume that within a positive pair, all latent factors either vary to a similar extent, or that some do not vary at all. However, in practice, positive pairs are often generated using augmentations such as strong cropping to just a few pixels. Hence, a more realistic assumption is that all latent factors change, with a continuum of variability across these factors. We introduce AnInfoNCE, a generalization of InfoNCE that can provably uncover the latent factors in this anisotropic setting, broadly generalizing previous identifiability results in CL. We validate our identifiability results in controlled experiments and show that AnInfoNCE increases the recovery of previously collapsed information in CIFAR10 and ImageNet, albeit at the cost of downstream accuracy. Additionally, we explore and discuss further mismatches between theoretical assumptions and practical implementations, including extensions to hard negative mining and loss ensembles.
• Abstract（参考訳）: InfoNCEによるコントラスト学習(CL)に関するこれまでの理論的研究は、ある仮定の下では、学習された表現が根本真正の潜伏因子を明らかにすることを示した。 これらの理論は、CLが実際にどのようにデプロイされるかの重要な側面を見落としている。 具体的には、正の対の中で、全ての潜伏因子が同じ程度に変化するか、あるいは全く変化しないものが存在すると仮定する。 しかし実際には、少数のピクセルに対して強い収穫などの増量によって正の対が生成されることが多い。 したがって、より現実的な仮定は、すべての潜伏因子が変化し、これらの因子の連続性が変化するということである。 本稿では、この異方性設定における潜伏因子を確実に発見できるInfoNCEの一般化であるAnInfoNCEを紹介し、CLにおける以前の識別可能性結果を広く一般化する。 CIFAR10 と ImageNet における AnInfoNCE がダウンストリーム精度を犠牲にしながら, 以前に崩壊した情報の回復率を高めることを示す。 さらに、理論的な仮定と実践的な実装のさらなるミスマッチを探求し、議論する。

関連論文リスト

• Unifying Causal Representation Learning with the Invariance Principle [21.375611599649716]
  因果表現学習は、高次元観測から潜伏因果変数を復元することを目的としている。 我々の主な貢献は、既存の因果表現学習アプローチの多くが、その表現を既知のデータ対称性に方法論的に整合させることである。
  論文  参考訳（メタデータ） (2024-09-04T14:51:36Z)
• Local Causal Structure Learning in the Presence of Latent Variables [16.88791886307876]
  本稿では,変数がターゲットの直接的な原因や効果であるかどうかを判定する原理的手法を提案する。 実世界の合成データと実世界のデータによる実験結果から,本手法の有効性と有効性について検証した。
  論文  参考訳（メタデータ） (2024-05-25T13:31:05Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• A Sparsity Principle for Partially Observable Causal Representation Learning [28.25303444099773]
  因果表現学習は、知覚データから高レベルの因果変数を特定することを目的としている。 我々は、インスタンスに依存した部分的可観測パターンを持つデータセットから、未確認の観測から学ぶことに集中する。 提案手法は,推定された表現の間隔を小さくすることで,基礎となる因果変数を推定する2つの手法である。
  論文  参考訳（メタデータ） (2024-03-13T08:40:49Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• A Versatile Causal Discovery Framework to Allow Causally-Related Hidden Variables [28.51579090194802]
  因果ネットワークの至る所で、因果関係の隠れ変数の存在を許容する因果発見のための新しい枠組みを提案する。 ランクに基づく潜在因果探索アルゴリズム(RLCD)を開発し、隠れ変数を効率よく探索し、その濃度を判定し、測定値と隠れ変数の両方に対して因果構造全体を発見する。 合成・実世界のパーソナリティデータセットを用いた実験結果から,有限サンプルケースにおける提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-12-18T07:57:39Z)
• Identifying Linearly-Mixed Causal Representations from Multi-Node Interventions [14.586959818386765]
  因果表現学習において、複数の変数を1つの環境内の介入によって対象とすることができる最初の識別可能性結果を提供する。 我々のアプローチは、環境全体にわたる介入のカバレッジと多様性に関する一般的な仮定に基づいている。 理論的貢献に加えて,多ノード干渉データから因果表現を学習するための実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-05T16:05:00Z)
• C-Disentanglement: Discovering Causally-Independent Generative Factors under an Inductive Bias of Confounder [35.09708249850816]
  我々は,共同設立者の帰納的バイアスを明示する最初のフレームワークである,C-Disentanglement(C-Disentanglement)というフレームワークを紹介した。 我々は、合成データセットと実世界のデータセットの両方について広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-26T11:44:42Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
  我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。 突発効果の非パラメトリック分解を可能にする最初の結果を証明する。 説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
  論文  参考訳（メタデータ） (2023-06-08T09:40:28Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Theory on Forgetting and Generalization of Continual Learning [41.85538120246877]
  連続学習(CL)は、一連のタスクを学習することを目的としている。 どの要因が重要か、それらが「破滅的な忘れ方」や一般化のパフォーマンスにどのように影響するかについて、理解の欠如がある。 本研究の結果は,最近の研究で興味深い経験的観察結果を説明するだけでなく,CLのより実用的なアルゴリズム設計の動機も示している。
  論文  参考訳（メタデータ） (2023-02-12T02:14:14Z)
• Identifying Weight-Variant Latent Causal Models [82.14087963690561]
  推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。 いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。 本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-08-30T11:12:59Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• A Critical Look At The Identifiability of Causal Effects with Deep Latent Variable Models [2.326384409283334]
  ケーススタディとして因果効果変動オートエンコーダ(CEVAE)を用いる。 CEVAEはいくつかの単純なシナリオで確実に機能するように見えるが、不特定な潜在変数や複雑なデータ分布による正しい因果効果は特定できない。 その結果,識別可能性の問題は無視できないことが明らかとなり,今後の作業でさらに注意を払わなければならないと論じた。
  論文  参考訳（メタデータ） (2021-02-12T17:43:18Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
  変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。 本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。 その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
  論文  参考訳（メタデータ） (2020-04-18T20:09:34Z)
• Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
  インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。 変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。 我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。