論文の概要: Towards a Rigorous Analysis of Mutual Information in Contrastive
Learning
- arxiv url: http://arxiv.org/abs/2308.15704v1
- Date: Wed, 30 Aug 2023 01:59:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 15:03:01.896738
- Title: Towards a Rigorous Analysis of Mutual Information in Contrastive
Learning
- Title(参考訳): コントラスト学習における相互情報の厳密な分析に向けて
- Authors: Kyungeun Lee, Jaeill Kim, Suhyun Kang, Wonjong Rhee
- Abstract要約: 相互情報分析の厳密性を高めることを目的とした3つの新しい手法といくつかの関連する定理を紹介する。
具体的には,小バッチサイズ,測度としての相互情報,InfoMinの原理について検討する。
- 参考スコア(独自算出の注目度): 3.6048794343841766
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Contrastive learning has emerged as a cornerstone in recent achievements of
unsupervised representation learning. Its primary paradigm involves an instance
discrimination task with a mutual information loss. The loss is known as
InfoNCE and it has yielded vital insights into contrastive learning through the
lens of mutual information analysis. However, the estimation of mutual
information can prove challenging, creating a gap between the elegance of its
mathematical foundation and the complexity of its estimation. As a result,
drawing rigorous insights or conclusions from mutual information analysis
becomes intricate. In this study, we introduce three novel methods and a few
related theorems, aimed at enhancing the rigor of mutual information analysis.
Despite their simplicity, these methods can carry substantial utility.
Leveraging these approaches, we reassess three instances of contrastive
learning analysis, illustrating their capacity to facilitate deeper
comprehension or to rectify pre-existing misconceptions. Specifically, we
investigate small batch size, mutual information as a measure, and the InfoMin
principle.
- Abstract(参考訳): コントラスト学習は、教師なし表現学習の最近の成果の基盤として登場した。
主なパラダイムは、相互情報損失を伴うインスタンス識別タスクである。
この損失はInfoNCEと呼ばれ、相互情報分析のレンズを通して対照的な学習に重要な洞察をもたらした。
しかし、相互情報の推定は困難であり、数学的基礎のエレガンスと推定の複雑さの間にギャップが生じる。
その結果、相互情報分析から厳密な洞察や結論を描くことが複雑になる。
本研究では, 相互情報分析の厳密性を高めるため, 3つの新しい手法といくつかの関連する定理を提案する。
その単純さにもかかわらず、これらの方法は実質的な実用性を持つことができる。
これらのアプローチを活用することで、コントラスト学習分析の3つの例を再評価し、より深い理解を促進し、既存の誤解を正す能力を示す。
具体的には,小さなバッチサイズ,尺度としての相互情報,インフォミン原理について検討する。
関連論文リスト
- Separating common from salient patterns with Contrastive Representation
Learning [2.250968907999846]
コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。
変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。
コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
論文 参考訳(メタデータ) (2024-02-19T08:17:13Z) - Singular Regularization with Information Bottleneck Improves Model's
Adversarial Robustness [30.361227245739745]
敵対的な例は、ディープラーニングモデルに対する最も深刻な脅威の1つです。
本研究では,非構造雑音として,明確なパターンを持たない逆情報について検討する。
本稿では,敵対情報を正規化し,情報ボトルネック理論を組み合わせるための新しいモジュールを提案する。
論文 参考訳(メタデータ) (2023-12-04T09:07:30Z) - Contrastive Learning for Inference in Dialogue [56.20733835058695]
推論、特に帰納的プロセスから派生したものは、私たちの会話において重要な要素です。
近年の大規模言語モデルは推論タスクにおいて顕著な進歩を見せている。
しかし、インダクティブ推論における彼らのパフォーマンスは、すべての情報がコンテキストに存在するわけではないが、インダクティブ推論よりもはるかに遅れている。
論文 参考訳(メタデータ) (2023-10-19T04:49:36Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - Visualizing and Understanding Contrastive Learning [22.553990823550784]
一対のイメージから類似性学習タスクを理解するのに寄与する視覚的説明法を設計する。
また、画像分類システムの視覚的説明を評価するために用いられる既存のメトリクスを、一対の説明に適合させる。
論文 参考訳(メタデータ) (2022-06-20T13:01:46Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳(メタデータ) (2022-06-20T03:09:46Z) - Entity-Based Knowledge Conflicts in Question Answering [29.973926661540524]
我々は、文脈情報が学習情報と矛盾する知識矛盾の問題を定式化する。
本稿では,幻覚を最小化し,分布外一般化を4%~7%改善するパラメトリック知識の過度依存を軽減する手法を提案する。
本研究は, 実践者が読解よりも幻覚の傾向を評価することの重要性を示し, 緩和戦略が情報進化への一般化を促進することを示すものである。
論文 参考訳(メタデータ) (2021-09-10T18:29:44Z) - From Canonical Correlation Analysis to Self-supervised Graph Neural
Networks [99.44881722969046]
本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。
古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。
提案手法は、7つの公開グラフデータセット上で競合的に動作する。
論文 参考訳(メタデータ) (2021-06-23T15:55:47Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳(メタデータ) (2021-06-14T10:12:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。