論文の概要: More Synergy, Less Redundancy: Exploiting Joint Mutual Information for
Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2307.00651v1
- Date: Sun, 2 Jul 2023 20:02:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 14:57:35.861147
- Title: More Synergy, Less Redundancy: Exploiting Joint Mutual Information for
Self-Supervised Learning
- Title（参考訳）: よりシナジーで冗長性が低い:自己指導型学習のための共同相互情報の爆発
- Authors: Salman Mohamadi, Gianfranco Doretto, Donald A. Adjeroh
- Abstract要約: 自己教師付き学習(SSL)は、データアノテーションを必要としないにもかかわらず、教師付き学習にとって深刻な競争相手となっている。
いくつかのベースラインは、SSLモデルをデータ配布に関する情報を利用して、拡張効果に頼らないよう試みている。
本稿では、SSLにおける相互情報の役割について検討し、相互情報に対する新たな視点の文脈においてSSLの問題を再考する。
- 参考スコア（独自算出の注目度）: 8.31483061185317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning (SSL) is now a serious competitor for supervised
learning, even though it does not require data annotation. Several baselines
have attempted to make SSL models exploit information about data distribution,
and less dependent on the augmentation effect. However, there is no clear
consensus on whether maximizing or minimizing the mutual information between
representations of augmentation views practically contribute to improvement or
degradation in performance of SSL models. This paper is a fundamental work
where, we investigate role of mutual information in SSL, and reformulate the
problem of SSL in the context of a new perspective on mutual information. To
this end, we consider joint mutual information from the perspective of partial
information decomposition (PID) as a key step in \textbf{reliable multivariate
information measurement}. PID enables us to decompose joint mutual information
into three important components, namely, unique information, redundant
information and synergistic information. Our framework aims for minimizing the
redundant information between views and the desired target representation while
maximizing the synergistic information at the same time. Our experiments lead
to a re-calibration of two redundancy reduction baselines, and a proposal for a
new SSL training protocol. Extensive experimental results on multiple datasets
and two downstream tasks show the effectiveness of this framework.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、データアノテーションを必要としないにもかかわらず、教師付き学習にとって深刻な競争相手となっている。
いくつかのベースラインは、SSLモデルをデータ配布に関する情報を利用して、拡張効果に頼らないよう試みている。
しかし、拡張ビューの表現間の相互情報の最大化や最小化がSSLモデルの性能改善や劣化に実質的に寄与するかどうかについては明確な合意は得られていない。
本稿では、SSLにおける相互情報の役割を調査し、相互情報に対する新たな視点の文脈でSSLの問題を再考する基礎研究である。
この目的のために、部分的情報分解(PID)の観点からの相互情報を、textbf{reliable multivariate information Measurement} における重要なステップとみなす。
pidは,協調的な相互情報を3つの重要な要素,すなわちユニークな情報,冗長な情報,相乗的情報に分解することを可能にする。
本フレームワークは,相乗的情報を同時に最大化しながら,ビューと所望のターゲット表現間の冗長情報を最小化することを目的とする。
実験の結果,2つの冗長化ベースラインの再校正と新たなSSLトレーニングプロトコルの提案が得られた。
複数のデータセットと2つの下流タスクに対する大規模な実験結果は、このフレームワークの有効性を示している。
関連論文リスト
- CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。
本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。
異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
論文 参考訳（メタデータ） (2025-01-13T11:34:55Z) - Rethinking Self-Supervised Learning Within the Framework of Partial Information Decomposition [6.963971634605796]
自己監督学習は、ラベルなしデータからの特徴学習において、その効果を実証している。
部分情報分解(PID)フレームワークにおけるSSLの中核的な考え方を再考することを提案する。
PIDの下でSSLを用いることで、従来の相互情報をより一般的な相互情報の概念に置き換えることを提案する。
論文 参考訳（メタデータ） (2024-12-03T03:20:12Z) - An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。
Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
論文 参考訳（メタデータ） (2024-10-31T14:57:31Z) - Can We Break Free from Strong Data Augmentations in Self-Supervised Learning? [18.83003310612038]
ディープニューラルネットワーク(DNN)における限定ラベル付きデータの課題に対処するための、有望なソリューションとして、自己教師付き学習(SSL)が登場した。
SSLモデルのパフォーマンスと学習メカニズムを形作る上で,SSLの動作が重要な役割を担っていることを明らかにする。
本稿では,事前知識を統合した新しい学習手法を提案する。
論文 参考訳（メタデータ） (2024-04-15T12:53:48Z) - Enhancing Information Maximization with Distance-Aware Contrastive
Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。
データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。
本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-03-04T12:10:24Z) - Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。
大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
論文 参考訳（メタデータ） (2023-06-08T15:17:04Z) - LSFSL: Leveraging Shape Information in Few-shot Learning [11.145085584637746]
少ないショットの学習技術は、限られた経験から人間がどのように学習するかに似た、少ないサンプルを使用して、データの基盤となるパターンを学習しようとする。
この限定データシナリオでは、ショートカット学習やテクスチャバイアス行動など、ディープニューラルネットワークに関連する課題がさらに悪化する。
本研究では,データに含まれる暗黙的な事前情報を利用して,より一般化可能な特徴を学習するためにモデルを強制するLSFSLを提案する。
論文 参考訳（メタデータ） (2023-04-13T16:59:22Z) - Does Decentralized Learning with Non-IID Unlabeled Data Benefit from
Self Supervision? [51.00034621304361]
自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究
本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
論文 参考訳（メタデータ） (2022-10-20T01:32:41Z) - An Information Minimization Based Contrastive Learning Model for
Unsupervised Sentence Embeddings Learning [19.270283247740664]
教師なし文表現学習のための情報最小化に基づくコントラスト学習(InforMin-CL)モデルを提案する。
情報最小化は単純なコントラストと再構成の目的によって達成できる。
論文 参考訳（メタデータ） (2022-09-22T12:07:35Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳（メタデータ） (2022-06-07T13:28:43Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-14T10:12:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。