論文の概要: Distance-Forward Learning: Enhancing the Forward-Forward Algorithm Towards High-Performance On-Chip Learning
- arxiv url: http://arxiv.org/abs/2408.14925v1
- Date: Tue, 27 Aug 2024 10:01:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 14:13:27.286232
- Title: Distance-Forward Learning: Enhancing the Forward-Forward Algorithm Towards High-Performance On-Chip Learning
- Title（参考訳）: 距離フォワード学習:高速オンチップ学習に向けたフォワードフォワードアルゴリズムの強化
- Authors: Yujie Wu, Siyuan Xu, Jibin Wu, Lei Deng, Mingkun Xu, Qinghao Wen, Guoqi Li,
- Abstract要約: バックプロパゲーション(BP)の限界に対処する局所学習手法として,フォワードフォワード(FF)アルゴリズムが最近提案されている。
距離メトリック学習を用いてFFを再構成し、教師付き視覚タスクにおけるFF性能を改善するための距離フォワードアルゴリズム(DF)を提案する。
CIFAR-10では88.2%、CIFAR-100では59%、SVHNでは95.9%、ImageNetteでは82.5%である。
- 参考スコア（独自算出の注目度）: 20.037634881772842
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Forward-Forward (FF) algorithm was recently proposed as a local learning method to address the limitations of backpropagation (BP), offering biological plausibility along with memory-efficient and highly parallelized computational benefits. However, it suffers from suboptimal performance and poor generalization, largely due to inadequate theoretical support and a lack of effective learning strategies. In this work, we reformulate FF using distance metric learning and propose a distance-forward algorithm (DF) to improve FF performance in supervised vision tasks while preserving its local computational properties, making it competitive for efficient on-chip learning. To achieve this, we reinterpret FF through the lens of centroid-based metric learning and develop a goodness-based N-pair margin loss to facilitate the learning of discriminative features. Furthermore, we integrate layer-collaboration local update strategies to reduce information loss caused by greedy local parameter updates. Our method surpasses existing FF models and other advanced local learning approaches, with accuracies of 99.7\% on MNIST, 88.2\% on CIFAR-10, 59\% on CIFAR-100, 95.9\% on SVHN, and 82.5\% on ImageNette, respectively. Moreover, it achieves comparable performance with less than 40\% memory cost compared to BP training, while exhibiting stronger robustness to multiple types of hardware-related noise, demonstrating its potential for online learning and energy-efficient computation on neuromorphic chips.
- Abstract（参考訳）: Forward-Forward (FF)アルゴリズムは、最近、メモリ効率と高度に並列化された計算上の利点とともに生物学的な妥当性を提供する、バックプロパゲーション(BP)の限界に対処する局所学習法として提案されている。
しかし、理論的な支援が不十分であり、効果的な学習戦略が欠如していることから、準最適性能と一般化の欠如に悩まされている。
本研究では,距離メトリック学習を用いてFFを再構成し,その局所的な計算特性を保ちながら,教師付き視覚タスクにおけるFF性能を向上させるための距離フォワードアルゴリズム(DF)を提案する。
これを実現するために、セントロイドに基づくメートル法学習のレンズを通してFFを再解釈し、良性に基づくNペアマージンの損失を発生させ、識別的特徴の学習を容易にする。
さらに, 階層共同ローカル更新戦略を統合し, ゆるやかなローカルパラメータ更新による情報損失を低減する。
本手法は既存のFFモデルおよび他の先進的な局所学習手法を超越し,MNISTでは99.7\%,CIFAR-10では88.2\%,CIFAR-100では59\%,SVHNでは95.9\%,ImageNetteでは82.5\%である。
さらに,複数のハードウェア関連ノイズに対して強い堅牢性を示し,オンライン学習とニューロモルフィックチップ上でのエネルギー効率の計算の可能性を示している。
関連論文リスト
- Self-Contrastive Forward-Forward Algorithm [3.1361717406527667]
本稿では,自己指導型コントラスト学習に触発された自己コントラストフォワード(SCFF)手法を提案する。
SCFFは、さまざまなデータセットに適用可能な正および負の例を生成する。
これは、リカレントニューラルネットワークのFFトレーニングを有効にし、より複雑なタスクへの扉を開く最初のものだ。
論文 参考訳（メタデータ） (2024-09-17T22:58:20Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - Computation and Communication Efficient Lightweighting Vertical Federated Learning [4.742058918600289]
本稿では,LVFL(Lightweight Vertical Federated Learning)の概念について紹介する。
このアプローチには、特徴モデルの分離された軽量化戦略、計算効率の向上、および通信効率の向上のための機能埋め込みが含まれる。
画像分類データセット上でのアルゴリズムの評価により,LVFLは頑健な学習性能を維持しつつ,計算と通信の要求を大幅に軽減することがわかった。
論文 参考訳（メタデータ） (2024-03-30T20:19:28Z) - Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。
我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。
本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文 参考訳（メタデータ） (2024-02-08T10:52:37Z) - Convolutional Channel-wise Competitive Learning for the Forward-Forward
Algorithm [5.1246638322893245]
深層ニューラルネットワークのトレーニングに一般的に使用されるバックプロパゲーション(BP)の問題を軽減するために,フォワードフォワード(FF)アルゴリズムが提案されている。
我々は、画像分類タスクにおける畳み込みニューラルネットワークの文脈において、チャネルワイズ競争学習を活用することにより、FFの主な考え方を取り入れ、それらを改善する。
MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100の試験誤差は0.58%, 7.69%, 21.89%, 48.77%であった。
論文 参考訳（メタデータ） (2023-12-19T23:48:43Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。