論文の概要: CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information

• arxiv url: http://arxiv.org/abs/2006.12013v6
• Date: Thu, 23 Jul 2020 20:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 04:44:37.108863
• Title: CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information
• Title（参考訳）: クラブ:相互情報の対比的対数比の上界
• Authors: Pengyu Cheng, Weituo Hao, Shuyang Dai, Jiachang Liu, Zhe Gan, Lawrence Carin
• Abstract要約: 本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
• 参考スコア（独自算出の注目度）: 105.73798100327667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mutual information (MI) minimization has gained considerable interests in various machine learning tasks. However, estimating and minimizing MI in high-dimensional spaces remains a challenging problem, especially when only samples, rather than distribution forms, are accessible. Previous works mainly focus on MI lower bound approximation, which is not applicable to MI minimization problems. In this paper, we propose a novel Contrastive Log-ratio Upper Bound (CLUB) of mutual information. We provide a theoretical analysis of the properties of CLUB and its variational approximation. Based on this upper bound, we introduce a MI minimization training scheme and further accelerate it with a negative sampling strategy. Simulation studies on Gaussian distributions show the reliable estimation ability of CLUB. Real-world MI minimization experiments, including domain adaptation and information bottleneck, demonstrate the effectiveness of the proposed method. The code is at https://github.com/Linear95/CLUB.
• Abstract（参考訳）: 相互情報(MI)の最小化は、様々な機械学習タスクにおいて大きな関心を集めている。 しかし、高次元空間におけるMIの推定と最小化は、特に分布形式ではなくサンプルのみがアクセス可能である場合、難しい問題である。 先行研究は主にmi下限近似に焦点をあてており、mi最小化問題には適用できない。 本稿では,相互情報のコントラスト的対数比上界(club)を提案する。 我々はclubの特性とその変分近似に関する理論的解析を行う。 この上界に基づいて,mi最小化トレーニングスキームを導入し,負のサンプリング戦略でさらに高速化する。 ガウス分布のシミュレーション研究は、CLUBの信頼性推定能力を示している。 ドメイン適応と情報ボトルネックを含む実世界のmi最小化実験は,提案手法の有効性を示す。 コードはhttps://github.com/Linear95/CLUBにある。

関連論文リスト

• Improving Mutual Information Estimation with Annealed and Energy-Based Bounds [20.940022170594816]
  相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2023-03-13T10:47:24Z)
• An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning [19.270283247740664]
  教師なし文表現学習のための情報最小化に基づくコントラスト学習(InforMin-CL)モデルを提案する。 情報最小化は単純なコントラストと再構成の目的によって達成できる。
  論文  参考訳（メタデータ） (2022-09-22T12:07:35Z)
• Cooperative Distribution Alignment via JSD Upper Bound [7.071749623370137]
  教師なし分布アライメントは、2つ以上のソース分布を共有整列分布にマッピングする変換を推定する。 このタスクには、生成モデリング、教師なしドメイン適応、社会的に認識された学習など、多くの応用がある。 我々は,従来のフローベースアプローチを,単一の非逆数フレームワークで統一し,一般化することを提案する。
  論文  参考訳（メタデータ） (2022-07-05T20:09:03Z)
• Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
  ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。 連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。 提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
  論文  参考訳（メタデータ） (2021-11-01T21:06:35Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Decomposed Mutual Information Estimation for Contrastive Representation Learning [66.52795579973484]
  最近のコントラスト的表現学習法は、基礎となるコンテキストの複数のビュー間の相互情報(MI)を推定することに依存している。 そこで本研究では,MI推定問題を1つのビューを段階的により情報的なサブビューに分割することにより,より小さな推定問題の和に分解することを提案する。 この式は無条件MI項と条件MI項の和を含み、それぞれが全MIのモデストチャンクを測定する。 DEMIは、通常の非分解コントラスト境界よりも多くのMIを合成条件で捕捉できることを示す。
  論文  参考訳（メタデータ） (2021-06-25T03:19:25Z)
• Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
  相互情報(MI)は表現学習において重要な役割を担っている。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
  論文  参考訳（メタデータ） (2020-05-03T16:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。