論文の概要: Can Local Learning Match Self-Supervised Backpropagation?

• arxiv url: http://arxiv.org/abs/2601.21683v1
• Date: Thu, 29 Jan 2026 13:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.840332
• Title: Can Local Learning Match Self-Supervised Backpropagation?
• Title（参考訳）: ローカルラーニングは自己監督型バックプロパゲーションに適合できるか?
• Authors: Wu S. Zihan, Ariane Delrocq, Wulfram Gerstner, Guillaume Bellec,
• Abstract要約: 我々は,グローバルルールとローカルルールのリンクを確立するために,ディープ線形ネットワークの理論を開発する。 そこで我々は,深部非線形畳み込みニューラルネットワークにおけるグローバルBP-SSLを近似するローカルSSLアルゴリズムの新たな変種を開発した。 ローカルSSLの勾配更新とグローバルBP-SSLの勾配更新の類似性を改善する変数も、画像データセットのパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 6.184770966699031
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While end-to-end self-supervised learning with backpropagation (global BP-SSL) has become central for training modern AI systems, theories of local self-supervised learning (local-SSL) have struggled to build functional representations in deep neural networks. To establish a link between global and local rules, we first develop a theory for deep linear networks: we identify conditions for local-SSL algorithms (like Forward-forward or CLAPP) to implement exactly the same weight update as a global BP-SSL. Starting from the theoretical insights, we then develop novel variants of local-SSL algorithms to approximate global BP-SSL in deep non-linear convolutional neural networks. Variants that improve the similarity between gradient updates of local-SSL with those of global BP-SSL also show better performance on image datasets (CIFAR-10, STL-10, and Tiny ImageNet). The best local-SSL rule with the CLAPP loss function matches the performance of a comparable global BP-SSL with InfoNCE or CPC-like loss functions, and improves upon state-of-the-art for local SSL on these benchmarks.
• Abstract（参考訳）: バックプロパゲーション(グローバルBP-SSL)を用いたエンドツーエンドの自己教師型学習は、現代のAIシステムのトレーニングの中心となっているが、ローカル自己教師型学習(ローカルSSL)の理論は、ディープニューラルネットワークで機能的な表現を構築するのに苦労している。 我々はまず,グローバルBP-SSLとまったく同じ重み更新を実現するために,ローカルSSLアルゴリズム(フォワードフォワードやCLAPPなど)の条件を特定する。 理論的知見から、我々は深層非線形畳み込みニューラルネットワークにおけるグローバルBP-SSLを近似するローカルSSLアルゴリズムの新しい変種を開発する。 ローカルSSLの勾配更新とグローバルBP-SSLの勾配更新の類似性を改善する変数は、画像データセット(CIFAR-10、STL-10、Tiny ImageNet)のパフォーマンスも向上している。 CLAPPロス関数と最高のローカルSSLルールは、同等のグローバルBP-SSLとInfoNCEやCPCライクなロス関数のパフォーマンスにマッチし、これらのベンチマークでローカルSSLの最先端を改善する。

関連論文リスト

• Stochastic Layer-wise Learning: Scalable and Efficient Alternative to Backpropagation [1.0285749562751982]
  バックプロパゲーションは現代のディープラーニングを支えるものだが、グローバル同期への依存はスケーラビリティを制限し、高いメモリコストを発生させる。 対照的に、完全に局所的な学習ルールはより効率的であるが、コヒーレントなグローバルラーニングに必要な層間調整を維持するのに苦労することが多い。 本稿では,グローバルな目標を協調的なレイヤローカル更新に分解するレイヤワイズ学習アルゴリズムであるレイヤワイズ学習(SLL)を紹介する。
  論文  参考訳（メタデータ） (2025-05-08T12:32:29Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning [14.937324556028548]
  本稿では、エッジデバイスがモデルの一部を段階的にトレーニングできるLayer-Wise Federated Self-Supervised Learningアプローチを提案する。 LW-FedSSLは、モデルの一部だけが任意のタイミングでトレーニングに有効であるため、計算要求を大幅に削減する。 最大でメモリ使用量の3.34ドルの削減、GFLOPの4.20ドルの削減、通信コストの5.07ドルの削減を実現している。
  論文  参考訳（メタデータ） (2024-01-22T01:57:31Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks [14.685237010856953]
  我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。 バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T12:56:57Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)
• Semi-supervised Medical Image Classification with Global Latent Mixing [8.330337646455957]
  ディープラーニングによるコンピュータ支援診断は、大規模な注釈付きデータセットに依存している。 半教師付き学習は、ラベルのないデータを活用することでこの課題を軽減する。 ラベル付きおよびラベルなしデータの線形混合に基づいてニューラルネットワークをトレーニングする新しいSSL手法を提案する。
  論文  参考訳（メタデータ） (2020-05-22T14:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。