論文の概要: Decomposed Mutual Information Estimation for Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2106.13401v1
• Date: Fri, 25 Jun 2021 03:19:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 13:18:56.936795
• Title: Decomposed Mutual Information Estimation for Contrastive Representation Learning
• Title（参考訳）: コントラスト表現学習のための分解的相互情報推定
• Authors: Alessandro Sordoni, Nouha Dziri, Hannes Schulz, Geoff Gordon, Phil Bachman, Remi Tachet
• Abstract要約: 最近のコントラスト的表現学習法は、基礎となるコンテキストの複数のビュー間の相互情報(MI)を推定することに依存している。 そこで本研究では,MI推定問題を1つのビューを段階的により情報的なサブビューに分割することにより,より小さな推定問題の和に分解することを提案する。 この式は無条件MI項と条件MI項の和を含み、それぞれが全MIのモデストチャンクを測定する。 DEMIは、通常の非分解コントラスト境界よりも多くのMIを合成条件で捕捉できることを示す。
• 参考スコア（独自算出の注目度）: 66.52795579973484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent contrastive representation learning methods rely on estimating mutual information (MI) between multiple views of an underlying context. E.g., we can derive multiple views of a given image by applying data augmentation, or we can split a sequence into views comprising the past and future of some step in the sequence. Contrastive lower bounds on MI are easy to optimize, but have a strong underestimation bias when estimating large amounts of MI. We propose decomposing the full MI estimation problem into a sum of smaller estimation problems by splitting one of the views into progressively more informed subviews and by applying the chain rule on MI between the decomposed views. This expression contains a sum of unconditional and conditional MI terms, each measuring modest chunks of the total MI, which facilitates approximation via contrastive bounds. To maximize the sum, we formulate a contrastive lower bound on the conditional MI which can be approximated efficiently. We refer to our general approach as Decomposed Estimation of Mutual Information (DEMI). We show that DEMI can capture a larger amount of MI than standard non-decomposed contrastive bounds in a synthetic setting, and learns better representations in a vision domain and for dialogue generation.
• Abstract（参考訳）: 最近のコントラスト表現学習法は、基礎となるコンテキストの複数のビュー間の相互情報(mi)の推定に依存する。 例えば、データ拡張を適用することで、与えられた画像の複数のビューを導出したり、シーケンスをシーケンス内の何らかのステップの過去と未来からなるビューに分割することができる。 MI 上の対照的な下界は最適化が容易であるが、MI の大量推定では強い過小評価バイアスを持つ。 そこで本稿では,MI推定問題をより小さな推定問題に分解する手法として,ビューの1つを段階的により情報的なサブビューに分割し,分割されたビュー間でMIに連鎖ルールを適用する手法を提案する。 この式は無条件および条件MIの項の和を含み、それぞれが全MIのモデストチャンクを測定し、対照的な境界による近似を容易にする。 和を最大化するために、効率的に近似できる条件 MI 上の対照的な下界を定式化する。 我々は、一般的なアプローチをDEMI(Decomposed Estimation of Mutual Information)と呼ぶ。 DEMIは、合成環境では非分解コントラスト境界よりも多くのMIを捕捉でき、視覚領域や対話生成においてより良い表現を学習できることを示す。

関連論文リスト

• Constrained Multiview Representation for Self-supervised Contrastive Learning [4.817827522417457]
  本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。 周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
  論文  参考訳（メタデータ） (2024-02-05T19:09:33Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Exploiting Pseudo Image Captions for Multimodal Summarization [26.033681302592207]
  視覚言語におけるクロスモーダルなコントラスト学習は、(一部)偽陰性の挑戦に直面している。 画像/テキストアンカーとその負のテキスト/画像間のMIをより正確に最適化する。
  論文  参考訳（メタデータ） (2023-05-09T14:47:25Z)
• Improving Mutual Information Estimation with Annealed and Energy-Based Bounds [20.940022170594816]
  相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2023-03-13T10:47:24Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)
• CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
  本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
  論文  参考訳（メタデータ） (2020-06-22T05:36:16Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)
• Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
  相互情報(MI)は表現学習において重要な役割を担っている。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
  論文  参考訳（メタデータ） (2020-05-03T16:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。