論文の概要: Variance-Covariance Regularization Improves Representation Learning
- arxiv url: http://arxiv.org/abs/2306.13292v1
- Date: Fri, 23 Jun 2023 05:01:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 13:47:13.929836
- Title: Variance-Covariance Regularization Improves Representation Learning
- Title（参考訳）: 変数共分散規則化は表現学習を改善する
- Authors: Jiachen Zhu, Ravid Shwartz-Ziv, Yubei Chen, Yann LeCun
- Abstract要約: 強い伝達学習アプローチでは、最初の事前学習段階で様々な特徴を捉えるようモデルに求めている。
最近の研究は、十分な正規化がなければ、ネットワークは主に事前学習損失関数を減少させる特徴に集中する傾向があることを示唆している。
本稿では,学習ネットワークの特徴の多様性向上を目的とした正規化手法である可変共分散正規化(VCR)を提案する。
- 参考スコア（独自算出の注目度）: 13.001896417265794
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Transfer learning has emerged as a key approach in the machine learning
domain, enabling the application of knowledge derived from one domain to
improve performance on subsequent tasks. Given the often limited information
about these subsequent tasks, a strong transfer learning approach calls for the
model to capture a diverse range of features during the initial pretraining
stage. However, recent research suggests that, without sufficient
regularization, the network tends to concentrate on features that primarily
reduce the pretraining loss function. This tendency can result in inadequate
feature learning and impaired generalization capability for target tasks. To
address this issue, we propose Variance-Covariance Regularization (VCR), a
regularization technique aimed at fostering diversity in the learned network
features. Drawing inspiration from recent advancements in the self-supervised
learning approach, our approach promotes learned representations that exhibit
high variance and minimal covariance, thus preventing the network from focusing
solely on loss-reducing features.
We empirically validate the efficacy of our method through comprehensive
experiments coupled with in-depth analytical studies on the learned
representations. In addition, we develop an efficient implementation strategy
that assures minimal computational overhead associated with our method. Our
results indicate that VCR is a powerful and efficient method for enhancing
transfer learning performance for both supervised learning and self-supervised
learning, opening new possibilities for future research in this domain.
- Abstract（参考訳）: トランスファーラーニングは、機械学習領域における重要なアプローチとして現れ、あるドメインから派生した知識を適用して、その後のタスクのパフォーマンスを向上させる。
後続のタスクに関する情報が限られていることを考えると、強い伝達学習アプローチでは、最初の事前学習段階で様々な特徴を捉えるようモデルに求めている。
しかし、最近の研究では、十分な正規化がなければ、ネットワークは主に事前訓練損失関数を減らす機能に集中する傾向があることを示唆している。
この傾向は、目標タスクに対する不適切な特徴学習と一般化能力を損なう可能性がある。
本稿では,学習ネットワークの特徴の多様性向上を目的とした正規化手法である可変共分散正規化(VCR)を提案する。
近年の自己指導型学習手法の進歩から着想を得た本手法では,高い分散性と最小の共分散を示す学習表現が促進され,ネットワークが損失低減機能にのみ焦点を絞ることを防止する。
本手法の有効性を包括的実験と学習表現に関する詳細な分析研究によって実証的に検証した。
さらに,本手法に付随する計算オーバーヘッドを最小限に抑える効率的な実装戦略を開発する。
この結果から,VCRは,教師付き学習と自己教師型学習の両方において,伝達学習性能を向上させるための強力かつ効率的な手法であることが示唆された。
関連論文リスト
- Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Normalization and effective learning rates in reinforcement learning [52.59508428613934]
正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。
正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。
そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T20:58:01Z) - Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。
この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
論文 参考訳（メタデータ） (2024-05-29T15:44:51Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳（メタデータ） (2023-06-21T05:26:28Z) - ArCL: Enhancing Contrastive Learning with Augmentation-Robust
Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。
対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。
これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-02T09:26:20Z) - Learning State Representations via Retracing in Reinforcement Learning [25.755855290244103]
リトラシングによる学習は、強化学習タスクの状態表現を学習するための自己指導型アプローチである。
本稿では,Retracingによる学習の具体的なインスタンス化であるCycle-Consistency World Model (CCWM)を紹介する。
CCWMは, 試料効率と性能の両面から, 最先端の性能を実現していることを示す。
論文 参考訳（メタデータ） (2021-11-24T16:19:59Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳（メタデータ） (2020-04-02T20:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。