論文の概要: $f$-MICL: Understanding and Generalizing InfoNCE-based Contrastive Learning

• arxiv url: http://arxiv.org/abs/2402.10150v1
• Date: Thu, 15 Feb 2024 17:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 14:36:54.766357
• Title: $f$-MICL: Understanding and Generalizing InfoNCE-based Contrastive Learning
• Title（参考訳）: $f$-MICL:InfoNCEに基づくコントラスト学習の理解と一般化
• Authors: Yiwei Lu,Guojun Zhang,Sun Sun,Hongyu Guo,Yaoliang Yu
• Abstract要約: 対照的に学習において、広く適応された目的関数はInfoNCEであり、表現比較にガウスコサイン類似性を用いる。 本稿では,(1)KLをベースとした目的を超えることができるか,という2つの興味深い疑問に答えることを目的とする。 比較学習におけるKLに基づく相互情報を$f$-Mutual Information in Contrastive Learning(f$-MICL)に、$f$-divergencesを用いて一般化することで、回答を提供する。
• 参考スコア（独自算出の注目度）: 37.45319637345343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In self-supervised contrastive learning, a widely-adopted objective function is InfoNCE, which uses the heuristic cosine similarity for the representation comparison, and is closely related to maximizing the Kullback-Leibler (KL)-based mutual information. In this paper, we aim at answering two intriguing questions: (1) Can we go beyond the KL-based objective? (2) Besides the popular cosine similarity, can we design a better similarity function? We provide answers to both questions by generalizing the KL-based mutual information to the $f$-Mutual Information in Contrastive Learning ($f$-MICL) using the $f$-divergences. To answer the first question, we provide a wide range of $f$-MICL objectives which share the nice properties of InfoNCE (e.g., alignment and uniformity), and meanwhile result in similar or even superior performance. For the second question, assuming that the joint feature distribution is proportional to the Gaussian kernel, we derive an $f$-Gaussian similarity with better interpretability and empirical performance. Finally, we identify close relationships between the $f$-MICL objective and several popular InfoNCE-based objectives. Using benchmark tasks from both vision and natural language, we empirically evaluate $f$-MICL with different $f$-divergences on various architectures (SimCLR, MoCo, and MoCo v3) and datasets. We observe that $f$-MICL generally outperforms the benchmarks and the best-performing $f$-divergence is task and dataset dependent.
• Abstract（参考訳）: 自己教師付きコントラスト学習において、広く受け入れられている目的関数はInfoNCEであり、表現比較にヒューリスティックなコサイン類似性を使用し、KLに基づく相互情報の最大化と密接に関連している。 本稿では,(1)klベースの目標を越えられるか,という2つの興味をそそる疑問に答えることを目的とする。 2) 一般的なコサイン類似性に加えて,より優れた類似性関数を設計できるだろうか? 比較学習におけるKLに基づく相互情報を$f$-Mutual Information in Contrastive Learning (f$-MICL) に一般化することにより,両質問に対する回答を提供する。 最初の質問に答えるために、我々はインフォデンスの優れた特性(例えば、アライメントと均一性)を共有する広範囲の$f$-micl目標を提供します。 2つ目の質問は、ジョイント特徴分布がガウス核に比例すると仮定すると、より優れた解釈可能性と経験的性能を持つ、f$-gaussian similarityが導出される。 最後に、$f$-MICLの目的と人気のあるInfoNCEの目的との密接な関係を同定する。 視覚と自然言語の両方のベンチマークタスクを使用して、さまざまなアーキテクチャ(SimCLR、MoCo、MoCo v3)とデータセット上で異なる$f$-divergencesを持つ$f$-MICLを経験的に評価します。 一般に$f$-MICLはベンチマークよりも優れており、最も優れた$f$-divergenceはタスクとデータセットに依存している。

関連論文リスト

• The All-Seeing Project V2: Towards General Relation Comprehension of the Open World [58.40101895719467]
  本稿では,画像のオブジェクト関係を理解するために設計された新しいモデルとデータセットであるAll-Seeing Project V2を紹介する。 本稿では,テキスト生成,オブジェクトローカライゼーション,関係理解の定式化を関係会話タスクに統合するAll-Seeing Model V2を提案する。 我々のモデルは、画像内の全ての物体を知覚・認識するだけでなく、それらの間の複雑な関係グラフの把握にも優れている。
  論文  参考訳（メタデータ） (2024-02-29T18:59:17Z)
• Separating common from salient patterns with Contrastive Representation Learning [2.250968907999846]
  コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:13Z)
• A duality framework for analyzing random feature and two-layer neural networks [7.400520323325074]
  我々は$mathcalF_p,pi$およびBarron空間内の関数の学習問題を考察する。 近似と推定の二重同値を確立し、それを用いて先行する関数空間の学習を研究する。
  論文  参考訳（メタデータ） (2023-05-09T17:41:50Z)
• Contrastive Learning Is Spectral Clustering On Similarity Graph [12.47963220169677]
  標準InfoNCE損失と対照的な学習は、類似性グラフ上のスペクトルクラスタリングと等価であることを示す。 理論的な洞察に感銘を受け,カーネル・インフォネッションNCEの損失を導入した。
  論文  参考訳（メタデータ） (2023-03-27T11:13:35Z)
• Principled Reinforcement Learning with Human Feedback from Pairwise or $K$-wise Comparisons [79.98542868281473]
  RLHF(Reinforcement Learning with Human Feedback)の理論的枠組みを提供する。 学習した報酬モデルに基づいてポリシーをトレーニングする際、MLEは失敗し、悲観的なMLEは特定のカバレッジ仮定の下で性能を改善したポリシーを提供する。
  論文  参考訳（メタデータ） (2023-01-26T18:07:21Z)
• Multi-Task Imitation Learning for Linear Dynamical Systems [50.124394757116605]
  線形システム上での効率的な模倣学習のための表現学習について検討する。 学習対象ポリシーによって生成された軌道上の模倣ギャップは、$tildeOleft(frack n_xHN_mathrmshared + frack n_uN_mathrmtargetright)$で制限されている。
  論文  参考訳（メタデータ） (2022-12-01T00:14:35Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• A Self-Penalizing Objective Function for Scalable Interaction Detection [2.208242292882514]
  本研究では,変数間の相互作用を発見するための計算により,非パラメトリックな変数選択の問題に取り組む。 トリックは、メトリック学習目標と呼ばれるパラメトリック非パラメトリック依存度を最大化することである。
  論文  参考訳（メタデータ） (2020-11-24T17:07:49Z)
• Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors [5.317548969642376]
  変分オートエンコーダ(VAE)は、複雑なデータの有向潜在変数モデルを学習するためのスケーラブルな方法である。 本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
  論文  参考訳（メタデータ） (2020-06-02T09:05:51Z)
• Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
  本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。 MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。 我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-05-09T10:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。