論文の概要: Multi-label Contrastive Predictive Coding

• arxiv url: http://arxiv.org/abs/2007.09852v2
• Date: Wed, 2 Dec 2020 20:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 12:37:52.625237
• Title: Multi-label Contrastive Predictive Coding
• Title（参考訳）: マルチラベルコントラスト予測符号化
• Authors: Jiaming Song and Stefano Ermon
• Abstract要約: 差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。 本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。 同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
• 参考スコア（独自算出の注目度）: 125.03510235962095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational mutual information (MI) estimators are widely used in unsupervised representation learning methods such as contrastive predictive coding (CPC). A lower bound on MI can be obtained from a multi-class classification problem, where a critic attempts to distinguish a positive sample drawn from the underlying joint distribution from $(m-1)$ negative samples drawn from a suitable proposal distribution. Using this approach, MI estimates are bounded above by $\log m$, and could thus severely underestimate unless $m$ is very large. To overcome this limitation, we introduce a novel estimator based on a multi-label classification problem, where the critic needs to jointly identify multiple positive samples at the same time. We show that using the same amount of negative samples, multi-label CPC is able to exceed the $\log m$ bound, while still being a valid lower bound of mutual information. We demonstrate that the proposed approach is able to lead to better mutual information estimation, gain empirical improvements in unsupervised representation learning, and beat a current state-of-the-art knowledge distillation method over 10 out of 13 tasks.
• Abstract（参考訳）: 変分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く用いられている。 mi上の下限は、下層のジョイント分布から引き出された正のサンプルを適切な提案分布から引き出された$(m-1)$負のサンプルと区別しようとするマルチクラス分類問題から得られる。 このアプローチを用いることで、MI の推定値は$\log m$ で上限付けられ、$m$ が非常に大きければ非常に過小評価される可能性がある。 この制限を克服するために,批判者が同時に複数の正のサンプルを識別する必要があるマルチラベル分類問題に基づく新しい推定器を導入する。 同一量の負のサンプルを用いて,複数ラベルのCPC が $\log m$bound を超えることができる一方で,相互情報の有意な下限であることを示す。 提案手法は, 相互情報推定の精度向上, 教師なし表現学習の実証的改善を実現し, 13タスク中10タスクで最先端の知識蒸留手法を破ることが実証された。

関連論文リスト

• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• Boosting Few-Shot Text Classification via Distribution Estimation [38.99459686893034]
  そこで本稿では,未ラベルの問合せサンプルを用いて,新しいクラスの分布を推定する,単純かつ効果的な2つの手法を提案する。 具体的には、まずクラスまたはサンプルをガウス分布に従って仮定し、元のサポートセットと最も近いクエリサンプルを使用する。 そして,推定分布から抽出したラベル付きサンプルを増量し,分類モデルの訓練に十分な監督力を与える。
  論文  参考訳（メタデータ） (2023-03-26T05:58:39Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
  コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。 負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。 そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T08:50:22Z)
• False membership rate control in mixture models [1.387448620257867]
  クラスタリングタスクは、サンプルの要素を均質なグループに分割する。 教師付き設定では、このアプローチはよく知られており、禁忌オプションの分類として言及されている。 本稿では, 教師なし混合モデルフレームワークで再検討し, 偽会員率が予め定義された名目レベルを超えないことを保証する手法を開発することを目的とする。
  論文  参考訳（メタデータ） (2022-03-04T22:37:59Z)
• Mixture Proportion Estimation and PU Learning: A Modern Approach [47.34499672878859]
  正の例とラベルなしの例のみを考えると、正逆負の正の正の分類器を正確に見積もることを望むかもしれない。 両方の問題の古典的な方法は、高次元の設定で分解される。 BBE(Best Bin Estimation)とCVIR(Value Ignoring Risk)の2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-11-01T14:42:23Z)
• Binary classification with ambiguous training data [69.50862982117127]
  教師付き学習では、ドメインの専門家でさえラベル付けが難しい曖昧な(A)サンプルに直面します。 この問題は、ラベルなしサンプルが必ずしも難しいサンプルではないため、半教師付き学習とは大きく異なる。
  論文  参考訳（メタデータ） (2020-11-05T00:53:58Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。