論文の概要: An Information-Theoretic Perspective on Variance-Invariance-Covariance
Regularization
- arxiv url: http://arxiv.org/abs/2303.00633v1
- Date: Wed, 1 Mar 2023 16:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 14:01:42.828161
- Title: An Information-Theoretic Perspective on Variance-Invariance-Covariance
Regularization
- Title(参考訳): 分散不変共分散正則化に関する情報理論的視点
- Authors: Ravid Shwartz-Ziv, Randall Balestriero, Kenji Kawaguchi, Tim G. J.
Rudner, Yann LeCun
- Abstract要約: 自己教師型学習のための分散In-Co正規化(VICReg)に関する情報理論的な視点を提供する。
本稿では,従来の手法を性能的に上回る,相互情報目的に基づく自己指導型学習手法を提案する。
- 参考スコア(独自算出の注目度): 31.621516856384005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we provide an information-theoretic perspective on
Variance-Invariance-Covariance Regularization (VICReg) for self-supervised
learning. To do so, we first demonstrate how information-theoretic quantities
can be obtained for deterministic networks as an alternative to the commonly
used unrealistic stochastic networks assumption. Next, we relate the VICReg
objective to mutual information maximization and use it to highlight the
underlying assumptions of the objective. Based on this relationship, we derive
a generalization bound for VICReg, providing generalization guarantees for
downstream supervised learning tasks and present new self-supervised learning
methods, derived from a mutual information maximization objective, that
outperform existing methods in terms of performance. This work provides a new
information-theoretic perspective on self-supervised learning and
Variance-Invariance-Covariance Regularization in particular and guides the way
for improved transfer learning via information-theoretic self-supervised
learning objectives.
- Abstract(参考訳): 本稿では,自己教師型学習のための変数不変共分散正規化(VICReg)に関する情報理論的な視点を提供する。
そこで本研究では, 一般の非現実的確率的ネットワークの仮定に代えて, 決定論的ネットワークに対して情報理論量が得られることを示す。
次に、VICRegの目的を相互情報の最大化に関連付け、その目的の前提となる仮定を強調する。
この関係に基づいてvicregの一般化を導出し,下流教師付き学習タスクの一般化保証を提供し,既存の手法を性能面で上回る相互情報最大化目標から導出した,新たな自己教師付き学習手法を提案する。
本研究は, 自己教師型学習と変分共分散規則化に関する新たな情報理論的視点を提供し, 情報理論的自己教師型学習の目的を通じて, 伝達学習を改善する方法を導く。
関連論文リスト
- Variance-Covariance Regularization Improves Representation Learning [28.341622247252705]
我々は,分散共分散正規化(VCReg)を導入して,自己教師型学習規則化手法を教師型学習コンテキストに適用する。
我々は、VCRegが画像やビデオの転送学習を大幅に強化し、多数のタスクやデータセットで最先端のパフォーマンスを達成することを実証した。
要約すると、VCRegは、転送学習を大幅に進歩させ、勾配飢餓、神経崩壊、特徴伝達可能性の間の接続を強調する、普遍的に適用可能な正規化フレームワークを提供する。
論文 参考訳(メタデータ) (2023-06-23T05:01:02Z) - FUNCK: Information Funnels and Bottlenecks for Invariant Representation
Learning [7.804994311050265]
データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。
本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。
一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
論文 参考訳(メタデータ) (2022-11-02T19:37:55Z) - Modeling Multiple Views via Implicitly Preserving Global Consistency and
Local Complementarity [61.05259660910437]
複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。
グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。
最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
論文 参考訳(メタデータ) (2022-09-16T09:24:00Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳(メタデータ) (2022-06-20T03:09:46Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳(メタデータ) (2021-08-11T21:17:02Z) - InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via
Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。
特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。
これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文 参考訳(メタデータ) (2021-06-25T16:34:05Z) - Farewell to Mutual Information: Variational Distillation for Cross-Modal
Person Re-Identification [41.02729491273057]
Information Bottleneck (IB)は、表現学習のための情報理論の原則を提供する。
我々は、スケーラブルで柔軟で分析的なソリューションを提供する新しい戦略、可変自己蒸留(VSD)を提示します。
また、Variational Cross-Distillation (VCD) と Variational Mutual-Learning (VML) の2つの戦略を紹介します。
論文 参考訳(メタデータ) (2021-04-07T02:19:41Z) - Controlling the Interaction Between Generation and Inference in
Semi-Supervised Variational Autoencoders Using Importance Weighting [0.9582466286528458]
変分オートエンコーダ(VAE)は半教師あり学習に広く使われている。
我々は,学習した生成モデルの後部を用いて,部分的に観察された潜在変数の学習において,推論モデルを導くことを観察した。
重要度重み付けを用いて、部分的に観察された潜伏変数のどちらかか、または観測されていない潜伏変数のどちらかを優先する2つの新しい目的を導出する。
論文 参考訳(メタデータ) (2020-10-13T17:01:40Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳(メタデータ) (2020-04-02T20:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。