Fugu-MT 論文翻訳(概要): Information Flow in Self-Supervised Learning

論文の概要: Information Flow in Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2309.17281v2
Date: Sun, 15 Oct 2023 14:32:09 GMT
ステータス: 処理完了
システム内更新日: 2023-10-18 03:07:15.971533
Title: Information Flow in Self-Supervised Learning
Title（参考訳）: 自己指導型学習における情報の流れ
Authors: Zhiquan Tan, Jingqin Yang, Weiran Huang, Yang Yuan, Yifan Zhang
Abstract要約: 本稿では,行列情報理論のレンズを用いて,自己教師付き学習法(SSL)の理解と拡張を行う包括的ツールボックスを提案する。本稿では,行列情報理論に基づくM-MAE法を提案する。
参考スコア（独自算出の注目度）: 13.653256266244732
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we provide a comprehensive toolbox for understanding and enhancing self-supervised learning (SSL) methods through the lens of matrix information theory. Specifically, by leveraging the principles of matrix mutual information and joint entropy, we offer a unified analysis for both contrastive and feature decorrelation based methods. Furthermore, we propose the matrix variational masked auto-encoder (M-MAE) method, grounded in matrix information theory, as an enhancement to masked image modeling. The empirical evaluations underscore the effectiveness of M-MAE compared with the state-of-the-art methods, including a 3.9% improvement in linear probing ViT-Base, and a 1% improvement in fine-tuning ViT-Large, both on ImageNet.
Abstract（参考訳）: 本稿では,行列情報理論のレンズを用いて,自己教師付き学習法(SSL)の理解と拡張を行う包括的ツールボックスを提案する。具体的には,マトリクス相互情報とジョイントエントロピーの原理を生かして,コントラスト法と特徴非相関法の両方について統一的な解析を行う。さらに,行列情報理論に基づくM-MAE法をマスク画像モデリングの強化として提案する。経験的評価は,リニアプローブvit-baseの3.9%,imagenetの微調整vit-largeの1%改善など,最先端手法と比較して,m-maeの有効性を強調する。

関連論文リスト

A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文参考訳（メタデータ） (2024-10-14T12:10:06Z)
Tailed Low-Rank Matrix Factorization for Similarity Matrix Completion [14.542166904874147]
similarity Completion Matrixは多くの機械学習タスクの中核にある基本的なツールとして機能する。この問題に対処するために、類似行列理論(SMC)法が提案されているが、それらは複雑である。提案手法は,PSD特性を解析して推定プロセスを導出し,低ランク解を保証するために非低ランク正規化器を組み込む2つの新しい,スケーラブルで効果的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-29T04:27:23Z)
Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。 3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
論文参考訳（メタデータ） (2024-05-26T15:18:22Z)
Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文参考訳（メタデータ） (2024-02-14T16:10:42Z)
Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
論文参考訳（メタデータ） (2023-10-10T17:06:41Z)
Multi-constrained Symmetric Nonnegative Latent Factor Analysis for Accurately Representing Large-scale Undirected Weighted Networks [2.1797442801107056]
ビッグデータ関連アプリケーションでは、Undirected Weighted Network (UWN) が頻繁に発生する。解析モデルは、UWNの固有対称性を記述するために、その対称性トポロジーを慎重に考慮する必要がある。本稿では,2次元アイデアを用いた多制約対称性非負遅延要素分析モデルを提案する。
論文参考訳（メタデータ） (2023-06-06T14:13:16Z)
Matrix Information Theory for Self-Supervised Learning [12.72620380763455]
本稿では,最大エントロピー符号化損失を行列均一性損失として解釈する新しい手法であるMatrix-SSLを紹介する。実験の結果、Matrix-SSLはImageNetデータセットの最先端メソッドよりも優れています。また,行列クロスエントロピー損失を用いた7Bモデルを微調整することにより,表現学習を言語モデリングシステムに導入する。
論文参考訳（メタデータ） (2023-05-27T02:04:25Z)
Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文参考訳（メタデータ） (2022-06-20T03:09:46Z)
MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文参考訳（メタデータ） (2021-06-29T12:52:26Z)
Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization [71.57324258813674]
位相探索(PR)とアフィンランク最小化(ARM)アルゴリズムに基づいてPSDMFアルゴリズムを設計可能であることを示す。このアイデアに触発され、反復的ハードしきい値(IHT)に基づくPSDMFアルゴリズムの新たなファミリーを導入する。
論文参考訳（メタデータ） (2020-07-24T06:10:19Z)
Orthogonal Inductive Matrix Completion [25.03115399173275]
本稿では,正則な側情報項の和に基づいて,行列補完に対する解釈可能なアプローチを提案する。提案手法は,確率的に収束するアルゴリズムにより最適化する。我々は,OMICの性能を複数の合成および実データに対して解析する。
論文参考訳（メタデータ） (2020-04-03T16:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。