論文の概要: Blockwise Self-Supervised Learning at Scale

• arxiv url: http://arxiv.org/abs/2302.01647v1
• Date: Fri, 3 Feb 2023 10:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 16:46:35.410081
• Title: Blockwise Self-Supervised Learning at Scale
• Title（参考訳）: ブロックワイズ自己教師付き学習の大規模化
• Authors: Shoaib Ahmed Siddiqui, David Krueger, Yann LeCun, St\'ephane Deny
• Abstract要約: 本稿では,各ブロックにおけるBarlow Twinsの損失関数によるResNet-50の4つのレイヤのトレーニングと,ImageNetのエンドツーエンドのバックプロパゲーションとを独立に行う方法を示す。 我々のブロックワイド事前訓練モデル上で訓練された線形プローブは、トップ-1の分類精度70.48%を得るが、これはエンドツーエンド事前訓練ネットワークの精度の1.1%以下である。
• 参考スコア（独自算出の注目度）: 11.746850525113516
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current state-of-the-art deep networks are all powered by backpropagation. In this paper, we explore alternatives to full backpropagation in the form of blockwise learning rules, leveraging the latest developments in self-supervised learning. We show that a blockwise pretraining procedure consisting of training independently the 4 main blocks of layers of a ResNet-50 with Barlow Twins' loss function at each block performs almost as well as end-to-end backpropagation on ImageNet: a linear probe trained on top of our blockwise pretrained model obtains a top-1 classification accuracy of 70.48%, only 1.1% below the accuracy of an end-to-end pretrained network (71.57% accuracy). We perform extensive experiments to understand the impact of different components within our method and explore a variety of adaptations of self-supervised learning to the blockwise paradigm, building an exhaustive understanding of the critical avenues for scaling local learning rules to large networks, with implications ranging from hardware design to neuroscience.
• Abstract（参考訳）: 現在の最先端のディープネットワークは、すべてバックプロパゲーションによって駆動される。 本稿では,自己教師型学習における最新の発展を生かして,ブロックワイズ学習ルールという形で完全なバックプロパゲーションに代わる方法を検討する。 本稿では,各ブロックにおけるBarlow Twinsの損失関数とResNet-50の4つの主要ブロックを独立にトレーニングしたブロックワイド事前学習手順が,ImageNet上でのエンドツーエンドのバックプロパゲーションとほぼ同等であることを示す: ブロックワイド事前学習モデル上でトレーニングした線形プローブは,トップ1分類精度70.48%,エンドツーエンド事前学習ネットワークの精度1.1%(精度71.57%)しか得られない。 我々は,本手法における異なるコンポーネントの影響を理解するために広範な実験を行い,ブロックワイズパラダイムへの自己教師付き学習の適応を探究し,ハードウェア設計から神経科学まで,ローカル学習ルールを大規模ネットワークにスケールするための重要な手段を徹底的に理解する。

関連論文リスト

• Unsupervised End-to-End Training with a Self-Defined Target [2.6563873893593826]
  本稿では,エンドツーエンドの教師あり学習用に設計されたネットワークやハードウェアが,高性能な教師なし学習を実現する方法を提案する。 我々はこの手法を半教師付き学習に拡張し、データ型に基づいて目標を調整し、600のラベル付きMNISTサンプルを多層パーセプトロンで96.6%の精度で検出する。
  論文  参考訳（メタデータ） (2024-03-18T16:14:28Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach [6.244905619201076]
  この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。 このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。 提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2022-11-02T18:16:17Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Self-Supervised Learning for Binary Networks by Joint Classifier Training [11.612308609123566]
  本稿では,バイナリネットワークのための自己教師付き学習手法を提案する。 バイナリネットワークのより良いトレーニングのために,特徴類似性損失,損失項の動的バランススキーム,マルチステージトレーニングの修正を提案する。 実証実験により、BSSLは、下流タスクにおけるバイナリネットワークの自己教師付き学習ベースラインよりも優れ、特定のタスクにおける教師付き事前学習よりも優れています。
  論文  参考訳（メタデータ） (2021-10-17T15:38:39Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Empirical Perspectives on One-Shot Semi-supervised Learning [0.0]
  新しいアプリケーションにディープニューラルネットワークを採用する際の最大の障害の1つは、ネットワークのトレーニングが通常、多数の手作業によるトレーニングサンプルを必要とすることである。 ディープネットワークをトレーニングするためには、大量のラベル付きデータにアクセスするが、クラス毎に1つのサンプルのみをラベル付けする必要があるシナリオを実証的に検討する。
  論文  参考訳（メタデータ） (2020-04-08T17:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。