論文の概要: LocalProp: Neuro-Localized Memory-Efficient Backpropagation
- arxiv url: http://arxiv.org/abs/2609.32517v1
- Date: Sat, 26 Sep 2026 12:01:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 07:53:11.103481
- Title: LocalProp: Neuro-Localized Memory-Efficient Backpropagation
- Title（参考訳）: LocalProp:ニューロローカライズドメモリ効率の良いバックプロパゲーション
- Abstract要約: モデルの重みを局所的に更新する訓練手順であるLocalPropを提案する。
我々の神経局在化体重の更新は、I-JEPAに基づく事前学習(pre-training then fine-tuning)パラダイムに従っている。
我々は、ImageNetなどの大規模ベンチマークを含むいくつかのデータセットで実験を行い、LocalPropがGPUピークメモリのごく一部で優れたパフォーマンスに達することを実証的に示す。
- 参考スコア（独自算出の注目度）: 20.430105241963812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current deep learning training paradigm employs end-to-end backpropagation, regardless of the training stage, i.e. pre-training or fine-tuning. However, backpropagating through the entire model is neither biologically plausible nor memory efficient, since learning inside the brain is highly localized. Therefore, we propose LocalProp, a training procedure that locally updates the weights of a model. Our neuro-localized weight updates follow the "pre-training then fine-tuning" paradigm, where the pre-training is based on I-JEPA. After locally updating the weights, a pruning operation is performed, followed by a short final fine-tuning phase. Pruning helps by sending the learning signal from higher blocks to lower blocks. We perform experiments on several datasets, including large-scale benchmarks such as ImageNet, and empirically show that LocalProp reaches good performance at a fraction of GPU peak memory. By varying the number of jointly optimized blocks, we identify gradient-propagation span as a practical control over the accuracy-memory trade-off.
- Abstract（参考訳）: 現在のディープラーニングトレーニングパラダイムでは、トレーニングステージ、すなわち事前トレーニングや微調整に関わらず、エンドツーエンドのバックプロパゲーションを採用している。
しかし、脳内の学習が高度に局所化されているため、モデル全体のバックプロパゲーションは生物学的に妥当でも記憶効率も良くない。
そこで我々は,モデルの重みを局所的に更新する訓練手順であるLocalPropを提案する。
我々の神経局在化体重の更新は、I-JEPAに基づく事前学習(pre-training then fine-tuning)パラダイムに従っている。
重量を局所的に更新した後、プルーニング操作を行い、その後、短い最終微調整フェーズを施す。
プルーニングは、学習信号を高いブロックから低いブロックに送信するのに役立つ。
我々は、ImageNetなどの大規模ベンチマークを含むいくつかのデータセットで実験を行い、LocalPropがGPUピークメモリのごく一部で優れたパフォーマンスに達することを実証的に示す。
共同最適化ブロックの数を変動させることで、精度-メモリトレードオフに対する実用的な制御として勾配伝搬幅を同定する。
関連論文リスト
- Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning [19.677969862434708]
本稿では,データ選択と再重み付けのための理論的に基礎的,資源効率のよいフレームワークを提案する。
In-Context Approximation (ICA) は、モデルが候補の例でトレーニングした後のホールドアウト損失を推定する。
モデルパラメータの進化に伴い, ICAスコアから指数重みを導出し, 勾配更新を動的に再加重する。
論文 参考訳（メタデータ） (2025-10-16T09:00:39Z) - Direct Quantized Training of Language Models with Stochastic Rounding [8.442358264368693]
様々な大きさのLLaMA構造化モデルの実験結果から,3次値に制約された場合でも,低精度の重み付きトレーニングが実現可能であることが示唆された。
我々のモデルは、FP32から低メモリ環境に移行する際の性能劣化を最小限に抑えながら、精度のスケーリングとメモリ削減に頑健なままです。
論文 参考訳（メタデータ） (2024-12-06T05:41:11Z) - Stepping Forward on the Last Mile [8.756033984943178]
本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。
その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
論文 参考訳（メタデータ） (2024-11-06T16:33:21Z) - PaReprop: Fast Parallelized Reversible Backpropagation [6.901732343162485]
非常にメモリ効率のよいトレーニングのためのエキサイティングな新しい方法として、可逆変換器が導入されている。
それらは、バックプロパゲーションフェーズにおけるアクティベーション再計算のさらなる計算オーバーヘッドを伴っている。
本稿では,高速並列化可逆バックプロパゲーションアルゴリズムPaRepropを提案する。
論文 参考訳（メタデータ） (2023-06-15T17:59:32Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳（メタデータ） (2023-02-28T05:01:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。