論文の概要: Mutual Information Gradient Estimation for Representation Learning

• arxiv url: http://arxiv.org/abs/2005.01123v1
• Date: Sun, 3 May 2020 16:05:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 06:06:01.730571
• Title: Mutual Information Gradient Estimation for Representation Learning
• Title（参考訳）: 表現学習のための相互情報勾配推定
• Authors: Liangjian Wen, Yiji Zhou, Lirong He, Mingyuan Zhou, Zenglin Xu
• Abstract要約: 相互情報(MI)は表現学習において重要な役割を担っている。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
• 参考スコア（独自算出の注目度）: 56.08429809658762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mutual Information (MI) plays an important role in representation learning. However, MI is unfortunately intractable in continuous and high-dimensional settings. Recent advances establish tractable and scalable MI estimators to discover useful representation. However, most of the existing methods are not capable of providing an accurate estimation of MI with low-variance when the MI is large. We argue that directly estimating the gradients of MI is more appealing for representation learning than estimating MI in itself. To this end, we propose the Mutual Information Gradient Estimator (MIGE) for representation learning based on the score estimation of implicit distributions. MIGE exhibits a tight and smooth gradient estimation of MI in the high-dimensional and large-MI settings. We expand the applications of MIGE in both unsupervised learning of deep representations based on InfoMax and the Information Bottleneck method. Experimental results have indicated significant performance improvement in learning useful representation.
• Abstract（参考訳）: 相互情報(MI)は表現学習において重要な役割を果たす。 しかし、MIは連続的かつ高次元的な設定では難解である。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 しかし、既存の手法のほとんどは、MIが大きい場合に低分散のMIを正確に推定することができない。 我々は、MIの勾配を直接推定することは、MI自体を推定するよりも表現学習に魅力的であると主張する。 そこで本研究では,暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。 MIGEは高次元および大規模MI設定におけるMIの厳密で滑らかな勾配推定を示す。 我々は、InfoMaxとInformation Bottleneck法に基づく深層表現の教師なし学習におけるMIGEの適用を拡大する。 実験結果から,有用表現の学習における性能向上が示唆された。

関連論文リスト

• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Improving Mutual Information Estimation with Annealed and Energy-Based Bounds [20.940022170594816]
  相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2023-03-13T10:47:24Z)
• Decomposed Mutual Information Estimation for Contrastive Representation Learning [66.52795579973484]
  最近のコントラスト的表現学習法は、基礎となるコンテキストの複数のビュー間の相互情報(MI)を推定することに依存している。 そこで本研究では,MI推定問題を1つのビューを段階的により情報的なサブビューに分割することにより,より小さな推定問題の和に分解することを提案する。 この式は無条件MI項と条件MI項の和を含み、それぞれが全MIのモデストチャンクを測定する。 DEMIは、通常の非分解コントラスト境界よりも多くのMIを合成条件で捕捉できることを示す。
  論文  参考訳（メタデータ） (2021-06-25T03:19:25Z)
• Are deep learning models superior for missing data imputation in large surveys? Evidence from an empirical comparison [5.994312110645453]
  マルチプルインプテーション(Multiple imputation、MI)は、サンプル調査における非応答性に起因する欠落データを扱うための最先端のアプローチです。 深層学習モデルに基づく最近のMI手法は、小さな研究の成果を奨励して開発されています。 本稿では,実測データに基づくシミュレーションのフレームワークと,MI手法を比較するための性能指標について述べる。
  論文  参考訳（メタデータ） (2021-03-14T16:24:04Z)
• CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
  本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
  論文  参考訳（メタデータ） (2020-06-22T05:36:16Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。