論文の概要: Towards a Rigorous Analysis of Mutual Information in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2308.15704v1
• Date: Wed, 30 Aug 2023 01:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 15:03:01.896738
• Title: Towards a Rigorous Analysis of Mutual Information in Contrastive Learning
• Title（参考訳）: コントラスト学習における相互情報の厳密な分析に向けて
• Authors: Kyungeun Lee, Jaeill Kim, Suhyun Kang, Wonjong Rhee
• Abstract要約: 相互情報分析の厳密性を高めることを目的とした3つの新しい手法といくつかの関連する定理を紹介する。 具体的には,小バッチサイズ,測度としての相互情報,InfoMinの原理について検討する。
• 参考スコア（独自算出の注目度）: 3.6048794343841766
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contrastive learning has emerged as a cornerstone in recent achievements of unsupervised representation learning. Its primary paradigm involves an instance discrimination task with a mutual information loss. The loss is known as InfoNCE and it has yielded vital insights into contrastive learning through the lens of mutual information analysis. However, the estimation of mutual information can prove challenging, creating a gap between the elegance of its mathematical foundation and the complexity of its estimation. As a result, drawing rigorous insights or conclusions from mutual information analysis becomes intricate. In this study, we introduce three novel methods and a few related theorems, aimed at enhancing the rigor of mutual information analysis. Despite their simplicity, these methods can carry substantial utility. Leveraging these approaches, we reassess three instances of contrastive learning analysis, illustrating their capacity to facilitate deeper comprehension or to rectify pre-existing misconceptions. Specifically, we investigate small batch size, mutual information as a measure, and the InfoMin principle.
• Abstract（参考訳）: コントラスト学習は、教師なし表現学習の最近の成果の基盤として登場した。 主なパラダイムは、相互情報損失を伴うインスタンス識別タスクである。 この損失はInfoNCEと呼ばれ、相互情報分析のレンズを通して対照的な学習に重要な洞察をもたらした。 しかし、相互情報の推定は困難であり、数学的基礎のエレガンスと推定の複雑さの間にギャップが生じる。 その結果、相互情報分析から厳密な洞察や結論を描くことが複雑になる。 本研究では, 相互情報分析の厳密性を高めるため, 3つの新しい手法といくつかの関連する定理を提案する。 その単純さにもかかわらず、これらの方法は実質的な実用性を持つことができる。 これらのアプローチを活用することで、コントラスト学習分析の3つの例を再評価し、より深い理解を促進し、既存の誤解を正す能力を示す。 具体的には,小さなバッチサイズ,尺度としての相互情報,インフォミン原理について検討する。

関連論文リスト

• Hierarchical Deconstruction of LLM Reasoning: A Graph-Based Framework for Analyzing Knowledge Utilization [30.349165483935682]
  大規模言語モデル(LLM)が推論の知識をどのように利用するのかは、まだよく分かっていない。 我々は,DepthQAデータセットを開発し,質問を3つの深さに分解する: (i)概念的知識の想起, (ii)手続き的知識の適用, (iii)戦略的知識の分析。 差分パターンは、モデルのキャパシティとトレーニングデータ記憶の可能性にまたがって観察される。
  論文  参考訳（メタデータ） (2024-06-27T19:29:36Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• Separating common from salient patterns with Contrastive Representation Learning [2.250968907999846]
  コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:13Z)
• Singular Regularization with Information Bottleneck Improves Model's Adversarial Robustness [30.361227245739745]
  敵対的な例は、ディープラーニングモデルに対する最も深刻な脅威の1つです。 本研究では,非構造雑音として,明確なパターンを持たない逆情報について検討する。 本稿では,敵対情報を正規化し,情報ボトルネック理論を組み合わせるための新しいモジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-04T09:07:30Z)
• Contrastive Learning for Inference in Dialogue [56.20733835058695]
  推論、特に帰納的プロセスから派生したものは、私たちの会話において重要な要素です。 近年の大規模言語モデルは推論タスクにおいて顕著な進歩を見せている。 しかし、インダクティブ推論における彼らのパフォーマンスは、すべての情報がコンテキストに存在するわけではないが、インダクティブ推論よりもはるかに遅れている。
  論文  参考訳（メタデータ） (2023-10-19T04:49:36Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Visualizing and Understanding Contrastive Learning [22.553990823550784]
  一対のイメージから類似性学習タスクを理解するのに寄与する視覚的説明法を設計する。 また、画像分類システムの視覚的説明を評価するために用いられる既存のメトリクスを、一対の説明に適合させる。
  論文  参考訳（メタデータ） (2022-06-20T13:01:46Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。