論文の概要: Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning

• arxiv url: http://arxiv.org/abs/2510.20644v1
• Date: Thu, 23 Oct 2025 15:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:18.236934
• Title: Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning
• Title（参考訳）: Jensen-ShannonとKullback-Leiblerの分岐点:表現学習のための新しい境界
• Authors: Reuben Dorent, Polina Golland, William Wells III,
• Abstract要約: 相互情報(英: Mutual Information)は、表現学習において広く用いられる統計依存の基本的な尺度である。 一般の場合, KLD 上の新しい, タイトで, トラクタブルなローバウンドを JSD の関数として導出する。 この結果は,MIに基づく表現学習における識別学習の新たな理論的正当化と強力な実証的証拠を提供する。
• 参考スコア（独自算出の注目度）: 4.946476970294861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mutual Information (MI) is a fundamental measure of statistical dependence widely used in representation learning. While direct optimization of MI via its definition as a Kullback-Leibler divergence (KLD) is often intractable, many recent methods have instead maximized alternative dependence measures, most notably, the Jensen-Shannon divergence (JSD) between joint and product of marginal distributions via discriminative losses. However, the connection between these surrogate objectives and MI remains poorly understood. In this work, we bridge this gap by deriving a new, tight, and tractable lower bound on KLD as a function of JSD in the general case. By specializing this bound to joint and marginal distributions, we demonstrate that maximizing the JSD-based information increases a guaranteed lower bound on mutual information. Furthermore, we revisit the practical implementation of JSD-based objectives and observe that minimizing the cross-entropy loss of a binary classifier trained to distinguish joint from marginal pairs recovers a known variational lower bound on the JSD. Extensive experiments demonstrate that our lower bound is tight when applied to MI estimation. We compared our lower bound to state-of-the-art neural estimators of variational lower bound across a range of established reference scenarios. Our lower bound estimator consistently provides a stable, low-variance estimate of a tight lower bound on MI. We also demonstrate its practical usefulness in the context of the Information Bottleneck framework. Taken together, our results provide new theoretical justifications and strong empirical evidence for using discriminative learning in MI-based representation learning.
• Abstract（参考訳）: 相互情報(MI)は、表現学習において広く用いられる統計依存の基本的な尺度である。 クルバック・リーブラー分岐 (KLD) の定義によるMIの直接最適化はしばしば難解であるが、近年の多くの手法は代わりに代替依存度を最大化している。 しかし、これらの代理目的とMIの関連性はいまだによく分かっていない。 本研究は, 一般の場合において JSD の関数として KLD 上の新しい, タイトで, トラクタブルな下界を導出することにより, このギャップを埋めるものである。 この境界を結合分布と限界分布に特化することにより、JSDに基づく情報の最大化が、相互情報に対する保証下限を増大させることを実証する。 さらに, JSD に基づく目的の実践的実装を再検討し, 境界対と関節を区別するために訓練された二分分類器のクロスエントロピー損失を最小限に抑えることで, JSD 上の既知の変分下界を回復することを示した。 実験により,MI推定に適用した場合,下限がきついことが確認された。 提案手法は, 既定の参照シナリオにまたがる変動的下界の, 最先端のニューラルネットワーク推定器と比較した。 我々の下界推定器は、MI 上の厳密な下界の安定で低分散な推定を提供する。 また、Information Bottleneckフレームワークのコンテキストにおいて実用性を示す。 この結果から,MIに基づく表現学習における識別学習の新たな理論的正当化と強力な実証的証拠が得られた。

関連論文リスト

• Beyond I-Con: Exploring New Dimension of Distance Measures in Representation Learning [7.8851393122408515]
  新規な損失関数の体系的発見を可能にするフレームワークであるBeyond I-Conを提案する。 本研究は,表現学習最適化におけるカーネル選択のばらつきと類似性を検討することの重要性を強調した。
  論文  参考訳（メタデータ） (2025-09-05T01:23:59Z)
• The Hidden Link Between RLHF and Contrastive Learning [56.45346439723488]
  RLHF(Reinforcement Learning from Human Feedback)とDPO(Simple Direct Preference Optimization)は相互情報(MI)の観点から解釈可能であることを示す。 このフレームワーク内では、RLHFとDPOの両方を、ベースモデルから派生した正と負のサンプルに基づいて対照的な学習を行う方法として解釈することができる。 そこで本稿では,DPO で観測される選択的傾向の後期的低下を軽減するための相互情報最適化 (MIO) を提案する。
  論文  参考訳（メタデータ） (2025-06-27T18:51:25Z)
• A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation [9.68824512279232]
  相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。 正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。 データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
  論文  参考訳（メタデータ） (2025-03-11T21:27:48Z)
• Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
  線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。 マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Reducing the Variance of Variational Estimates of Mutual Information by Limiting the Critic's Hypothesis Space to RKHS [0.0]
  相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。 近年の手法では、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判が実現されている。 我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。
  論文  参考訳（メタデータ） (2020-11-17T14:32:48Z)
• Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
  本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。 いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T18:25:10Z)
• CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
  本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
  論文  参考訳（メタデータ） (2020-06-22T05:36:16Z)
• Joint Contrastive Learning for Unsupervised Domain Adaptation [20.799729748233343]
  本稿では, 目標誤差に対して, より管理しやすくするために, 共同エラーを明示的に考慮する別の上限を提案する。 連立比較学習を導入し, 連立誤差の最小化に欠かせない, クラスレベルの識別的特徴を見出す。 2つの実世界のデータセットの実験では、JCLが最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-06-18T06:25:34Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。