論文の概要: Local proxies for memory-efficient training

• arxiv url: http://arxiv.org/abs/2610.23145v1
• Date: Fri, 16 Oct 2026 08:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.833539
• Title: Local proxies for memory-efficient training
• Title（参考訳）: メモリ効率トレーニングのための局所プロキシ
• Abstract要約: 蒸留によりグローバルネットワークの出力を予測するために,ローカルプロキシネットワークを訓練する。 グラディエントはこの局所的なプロキシを通して独立に伝播し、バックプロパゲーション勾配をよく推定する。 本手法は,メモリコストに匹敵するメモリ効率のゼロオーダー学習アルゴリズムよりも高速かつ高い性能を実現する。
• 参考スコア（独自算出の注目度）: 2.0263791972068628
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Local learning algorithms can reshape resource requirements of artificial intelligence. The memory bottleneck of standard end-to-end backpropagation lies in the need to store all network activations until the loss gradient has been propagated back through. Local learning avoids this, but typically at a cost in accuracy. We study how to achieve accurate and memory efficient local learning in transformers. For each transformer block, we train a local proxy network to predict the global network output via distillation. Gradients can be independently propagated through this local proxy while estimating well the backpropagation gradients. In theory, this approach is exact for deep linear networks; in non-linear residual models, the gradient error can be bounded when using the appropriate residual proxy. We verify this numerically and demonstrate that optimizing the distillation loss improves gradient estimation. Evaluating the performance of proxy propagation on CIFAR-100 in vision transformers, we find that it achieves a better accuracy/memory trade-off compared to other local algorithms. Finally, we show that the method is further relevant for fine-tuning large language models on a small memory budget. Our method trains faster and achieves higher performance than memory-efficient zeroth-order learning algorithms with comparable memory cost.
• Abstract（参考訳）: ローカル学習アルゴリズムは、人工知能のリソース要求を再構築することができる。 標準的なエンドツーエンドのバックプロパゲーションのメモリボトルネックは、損失勾配が伝播するまですべてのネットワークアクティベーションを保存する必要があることである。 局所的な学習はそれを避けるが、通常は正確さを犠牲にしている。 本研究では,変圧器の高精度かつ効率的な局所学習法について検討する。 各トランスブロックに対して,蒸留によるグローバルネットワーク出力を予測するために,ローカルプロキシネットワークをトレーニングする。 勾配は、この局所的なプロキシを通して独立に伝播し、バックプロパゲーション勾配をよく推定する。 理論上は、この手法は深い線形ネットワークに対して正確であり、非線形残差モデルでは、適切な残留プロキシを使用する際に勾配誤差を有界にすることができる。 これを数値的に検証し,蒸留損失の最適化が勾配推定を改善することを実証する。 視覚変換器におけるCIFAR-100のプロキシ伝搬性能を評価すると,他の局所アルゴリズムと比較して精度・メモリトレードオフが向上することがわかった。 最後に,本手法は,メモリ予算の小さい大規模言語モデルの微調整にさらに有用であることを示す。 本手法は,メモリコストに匹敵するメモリ効率のゼロオーダー学習アルゴリズムよりも高速に学習し,高い性能を実現する。

関連論文リスト

• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• BackLink: Supervised Local Training with Backward Links [2.104758015212034]
  この研究は、モジュール間の後方依存性を導入し、モジュール間でエラーを流すことが可能な、新しいローカルトレーニングアルゴリズムであるBackLinkを提案する。 提案手法は,ResNet110のメモリコストを79%削減し,ResNet110のシミュレーションランタイムを52%削減する。
  論文  参考訳（メタデータ） (2022-05-14T21:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。