論文の概要: Information Flow in Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2309.17281v2
- Date: Sun, 15 Oct 2023 14:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 03:07:15.971533
- Title: Information Flow in Self-Supervised Learning
- Title(参考訳): 自己指導型学習における情報の流れ
- Authors: Zhiquan Tan, Jingqin Yang, Weiran Huang, Yang Yuan, Yifan Zhang
- Abstract要約: 本稿では,行列情報理論のレンズを用いて,自己教師付き学習法(SSL)の理解と拡張を行う包括的ツールボックスを提案する。
本稿では,行列情報理論に基づくM-MAE法を提案する。
- 参考スコア(独自算出の注目度): 13.653256266244732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we provide a comprehensive toolbox for understanding and
enhancing self-supervised learning (SSL) methods through the lens of matrix
information theory. Specifically, by leveraging the principles of matrix mutual
information and joint entropy, we offer a unified analysis for both contrastive
and feature decorrelation based methods. Furthermore, we propose the matrix
variational masked auto-encoder (M-MAE) method, grounded in matrix information
theory, as an enhancement to masked image modeling. The empirical evaluations
underscore the effectiveness of M-MAE compared with the state-of-the-art
methods, including a 3.9% improvement in linear probing ViT-Base, and a 1%
improvement in fine-tuning ViT-Large, both on ImageNet.
- Abstract(参考訳): 本稿では,行列情報理論のレンズを用いて,自己教師付き学習法(SSL)の理解と拡張を行う包括的ツールボックスを提案する。
具体的には,マトリクス相互情報とジョイントエントロピーの原理を生かして,コントラスト法と特徴非相関法の両方について統一的な解析を行う。
さらに,行列情報理論に基づくM-MAE法をマスク画像モデリングの強化として提案する。
経験的評価は,リニアプローブvit-baseの3.9%,imagenetの微調整vit-largeの1%改善など,最先端手法と比較して,m-maeの有効性を強調する。
関連論文リスト
- Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。
エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。
我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
論文 参考訳(メタデータ) (2024-04-30T06:48:56Z) - Synergistic eigenanalysis of covariance and Hessian matrices for
enhanced binary classification [75.90957645766676]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
我々のアプローチは、クラス間の平均距離を最大化し、クラス内の分散を最小化する能力を確立する形式的な証明によって裏付けられている。
論文 参考訳(メタデータ) (2024-02-14T16:10:42Z) - Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。
そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
論文 参考訳(メタデータ) (2023-10-03T12:08:15Z) - MOCA: Self-supervised Representation Learning by Predicting Masked
Online Codebook Assignments [48.67345147676275]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
相乗的, 計算効率の両パラダイムを効果的に活用する方法を示す。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-07-18T15:46:20Z) - Matrix Information Theory for Self-Supervised Learning [13.653256266244734]
本稿では,最大エントロピー符号化損失を行列均一性損失として解釈する新しい手法であるMatrix-SSLを紹介する。
実験の結果、Matrix-SSLはImageNetデータセットの最先端メソッドよりも優れています。
また、GSM8Kデータセットで72.3%を達成し、表現学習を言語モデリングシステムに導入しようと試みている。
論文 参考訳(メタデータ) (2023-05-27T02:04:25Z) - MFAI: A Scalable Bayesian Matrix Factorization Approach to Leveraging
Auxiliary Information [8.42894516984735]
確率行列因数分解フレームワークに勾配増木木を統合して補助情報(MFAI)を活用することを提案する。
MFAIは自然に、非線形関係を柔軟にモデル化する能力など、勾配を増進した木の健全な特徴を継承する。
MFAIは、変分推論を利用して計算効率が高く、大規模なデータセットにスケーラブルである。
論文 参考訳(メタデータ) (2023-03-05T03:26:14Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-14T18:18:02Z) - Integrating Contrastive Learning with Dynamic Models for Reinforcement
Learning from Images [31.413588478694496]
我々は、学習した埋め込みのマルコビアン性を明確に改善することが望ましいと論じている。
コントラスト学習と動的モデルを統合する自己教師付き表現学習法を提案する。
論文 参考訳(メタデータ) (2022-03-02T14:39:17Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - Orthogonal Inductive Matrix Completion [25.03115399173275]
本稿では,正則な側情報項の和に基づいて,行列補完に対する解釈可能なアプローチを提案する。
提案手法は,確率的に収束するアルゴリズムにより最適化する。
我々は,OMICの性能を複数の合成および実データに対して解析する。
論文 参考訳(メタデータ) (2020-04-03T16:21:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。