Fugu-MT 論文翻訳(概要): Information Flow in Self-Supervised Learning

論文の概要: Information Flow in Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2309.17281v3
Date: Wed, 29 May 2024 09:28:38 GMT
ステータス: 処理完了
システム内更新日: 2024-05-31 02:11:35.708693
Title: Information Flow in Self-Supervised Learning
Title（参考訳）: 自己指導型学習における情報の流れ
Authors: Zhiquan Tan, Jingqin Yang, Weiran Huang, Yang Yuan, Yifan Zhang,
Abstract要約: 本稿では,行列ベースのエントロピー推定を正規化器として活用し,U-MAEを特別に仮定する新しい手法であるマトリックス変量マスク付きオートエンコーダ(M-MAE)を紹介する。実験による評価は、線形探傷型ViT-Baseの3.9%の改善、微調整型ViT-Largeの1%の改善など、最先端の手法と比較して、M-MAEの有効性を裏付けるものである。
参考スコア（独自算出の注目度）: 12.726203807634548
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we conduct a comprehensive analysis of two dual-branch (Siamese architecture) self-supervised learning approaches, namely Barlow Twins and spectral contrastive learning, through the lens of matrix mutual information. We prove that the loss functions of these methods implicitly optimize both matrix mutual information and matrix joint entropy. This insight prompts us to further explore the category of single-branch algorithms, specifically MAE and U-MAE, for which mutual information and joint entropy become the entropy. Building on this intuition, we introduce the Matrix Variational Masked Auto-Encoder (M-MAE), a novel method that leverages the matrix-based estimation of entropy as a regularizer and subsumes U-MAE as a special case. The empirical evaluations underscore the effectiveness of M-MAE compared with the state-of-the-art methods, including a 3.9% improvement in linear probing ViT-Base, and a 1% improvement in fine-tuning ViT-Large, both on ImageNet.
Abstract（参考訳）: 本稿では,2つのデュアルブランチ(シームズアーキテクチャ)自己教師型学習アプローチ,すなわちBarlow Twinsとスペクトルコントラスト学習を,行列相互情報のレンズを通して包括的に分析する。これらの手法の損失関数は,行列の相互情報と行列の関節エントロピーの両方を暗黙的に最適化することを証明する。この知見は、特にMAEやU-MAEといった単一ブランチアルゴリズムのカテゴリについて、相互情報と共同エントロピーがエントロピーとなる分野をさらに探求するきっかけとなる。この直感に基づいて,行列ベースのエントロピー推定を正規化器として活用し,U-MAEを特別に仮定する新しい手法であるマトリックス変分マスク付きオートエンコーダ(M-MAE)を導入する。実験的な評価は、M-MAEの有効性を最先端の手法と比較し、線形プローブのViT-Baseが3.9%改善され、微細チューニングのViT-Largeが1%改善された。

関連論文リスト

A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文参考訳（メタデータ） (2024-10-14T12:10:06Z)
Tailed Low-Rank Matrix Factorization for Similarity Matrix Completion [14.542166904874147]
similarity Completion Matrixは多くの機械学習タスクの中核にある基本的なツールとして機能する。この問題に対処するために、類似行列理論(SMC)法が提案されているが、それらは複雑である。提案手法は,PSD特性を解析して推定プロセスを導出し,低ランク解を保証するために非低ランク正規化器を組み込む2つの新しい,スケーラブルで効果的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-29T04:27:23Z)
Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。 3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
論文参考訳（メタデータ） (2024-05-26T15:18:22Z)
Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文参考訳（メタデータ） (2024-02-14T16:10:42Z)
Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
論文参考訳（メタデータ） (2023-10-10T17:06:41Z)
Multi-constrained Symmetric Nonnegative Latent Factor Analysis for Accurately Representing Large-scale Undirected Weighted Networks [2.1797442801107056]
ビッグデータ関連アプリケーションでは、Undirected Weighted Network (UWN) が頻繁に発生する。解析モデルは、UWNの固有対称性を記述するために、その対称性トポロジーを慎重に考慮する必要がある。本稿では,2次元アイデアを用いた多制約対称性非負遅延要素分析モデルを提案する。
論文参考訳（メタデータ） (2023-06-06T14:13:16Z)
Matrix Information Theory for Self-Supervised Learning [12.72620380763455]
本稿では,最大エントロピー符号化損失を行列均一性損失として解釈する新しい手法であるMatrix-SSLを紹介する。実験の結果、Matrix-SSLはImageNetデータセットの最先端メソッドよりも優れています。また,行列クロスエントロピー損失を用いた7Bモデルを微調整することにより,表現学習を言語モデリングシステムに導入する。
論文参考訳（メタデータ） (2023-05-27T02:04:25Z)
Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文参考訳（メタデータ） (2022-06-20T03:09:46Z)
MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文参考訳（メタデータ） (2021-06-29T12:52:26Z)
Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization [71.57324258813674]
位相探索(PR)とアフィンランク最小化(ARM)アルゴリズムに基づいてPSDMFアルゴリズムを設計可能であることを示す。このアイデアに触発され、反復的ハードしきい値(IHT)に基づくPSDMFアルゴリズムの新たなファミリーを導入する。
論文参考訳（メタデータ） (2020-07-24T06:10:19Z)
Orthogonal Inductive Matrix Completion [25.03115399173275]
本稿では,正則な側情報項の和に基づいて,行列補完に対する解釈可能なアプローチを提案する。提案手法は,確率的に収束するアルゴリズムにより最適化する。我々は,OMICの性能を複数の合成および実データに対して解析する。
論文参考訳（メタデータ） (2020-04-03T16:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。