論文の概要: Contrastive Predictive Coding Done Right for Mutual Information Estimation

• arxiv url: http://arxiv.org/abs/2510.25983v1
• Date: Wed, 29 Oct 2025 21:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.582902
• Title: Contrastive Predictive Coding Done Right for Mutual Information Estimation
• Title（参考訳）: 相互情報推定のためのコントラスト予測符号化
• Authors: J. Jon Ryu, Pavan Yeddanapudi, Xiangxiang Xu, Gregory W. Wornell,
• Abstract要約: InfoNCEが有効なMI推定器とみなすべきでない理由を示す。 正確なMI推定のための簡単な修正をInfoNCE-anchorと呼ぶ。 我々は、適切なスコアリングルールを用いてフレームワークを一般化し、ログスコアが使用される特別なケースとしてInfoNCE-anchorを復元する。
• 参考スコア（独自算出の注目度）: 21.046609494716865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The InfoNCE objective, originally introduced for contrastive representation learning, has become a popular choice for mutual information (MI) estimation, despite its indirect connection to MI. In this paper, we demonstrate why InfoNCE should not be regarded as a valid MI estimator, and we introduce a simple modification, which we refer to as InfoNCE-anchor, for accurate MI estimation. Our modification introduces an auxiliary anchor class, enabling consistent density ratio estimation and yielding a plug-in MI estimator with significantly reduced bias. Beyond this, we generalize our framework using proper scoring rules, which recover InfoNCE-anchor as a special case when the log score is employed. This formulation unifies a broad spectrum of contrastive objectives, including NCE, InfoNCE, and $f$-divergence variants, under a single principled framework. Empirically, we find that InfoNCE-anchor with the log score achieves the most accurate MI estimates; however, in self-supervised representation learning experiments, we find that the anchor does not improve the downstream task performance. These findings corroborate that contrastive representation learning benefits not from accurate MI estimation per se, but from the learning of structured density ratios.
• Abstract（参考訳）: もともとコントラスト表現学習のために導入されたInfoNCEの目的は、MIと間接的な関係にあるにもかかわらず、相互情報(MI)推定において一般的な選択肢となっている。 本稿では、InfoNCEを有効なMI推定器とはみなさない理由を実証し、正確なMI推定のためにInfoNCE-anchorと呼ばれる簡単な修正を導入する。 我々の修正は補助アンカークラスを導入し、一貫した密度比の推定を可能にし、バイアスを著しく低減したプラグインMI推定器を得る。 さらに,ログスコアを用いた場合,InfoNCE-anchorを特別なケースとして回収する適切なスコアリングルールを用いて,フレームワークを一般化する。 この定式化は、NCE、InfoNCE、$f$-divergence variantsを含む、コントラスト的な目的の幅広いスペクトルを単一原理のフレームワークで統一する。 実験により,ログスコアのInfoNCEアンカーが最も正確なMI推定値が得られることがわかったが,自己教師付き表現学習実験では,アンカーがダウンストリームタスクのパフォーマンスを向上しないことがわかった。 これらの結果から, 比較表現学習は, それぞれ正確なMI推定からではなく, 構造密度比の学習から得られることが示唆された。

関連論文リスト

• Redefining Machine Unlearning: A Conformal Prediction-Motivated Approach [11.609354498110358]
  機械学習は、訓練されたモデルから特定のデータの影響を取り除こうとする。 本稿では,UA と MIA にまたがる誤分類データには,予測セットに基礎的真理ラベルがまだ含まれていないことを明らかにする。 本稿では,記憶品質をより確実に評価する共形予測に着想を得た2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:58:43Z)
• An Information Theoretic Evaluation Metric For Strong Unlearning [20.143627174765985]
  情報理論にインスパイアされた新しいホワイトボックス計量であるIDI(Information difference Index)を導入する。 IDIは、これらの特徴と忘れるべきラベルの相互情報を測定することにより、中間特徴の保持情報を定量化する。 我々の実験は、IDIが様々なデータセットやアーキテクチャをまたいだアンラーニングの度合いを効果的に測定できることを実証した。
  論文  参考訳（メタデータ） (2024-05-28T06:57:01Z)
• Improving importance estimation in covariate shift for providing accurate prediction error [0.0]
  Kullback-Leibler Importance Estimation(KLIEP)は、有望な方法で重要度を推定できる。 本稿では,重要度計算における対象情報を考慮した場合の性能改善の可能性について検討する。
  論文  参考訳（メタデータ） (2024-02-02T14:39:39Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• InfoNCE is variational inference in a recognition parameterised model [32.45282187405337]
  本稿では,新しい確率的生成モデルのクラスにおいて,InfoNCEの目的がELBOと等価であることを示す。 特に、無限サンプル極限において、前者の特定の選択に対して、実際のInfoNCE目標がELBOと等しいことを示す。
  論文  参考訳（メタデータ） (2021-07-06T09:24:57Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)
• Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
  相互情報(MI)は表現学習において重要な役割を担っている。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
  論文  参考訳（メタデータ） (2020-05-03T16:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。