論文の概要: Low-Memory Implementations of Ridge Solutions for Broad Learning System
with Incremental Learning
- arxiv url: http://arxiv.org/abs/2105.10424v2
- Date: Mon, 24 May 2021 13:04:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 11:08:27.413030
- Title: Low-Memory Implementations of Ridge Solutions for Broad Learning System
with Incremental Learning
- Title（参考訳）: インクリメンタル学習を用いた広範学習システムのためのリッジ解の低メモリ化
- Authors: Hufei Zhu
- Abstract要約: 既存の低メモリのBLS実装は、メモリの効率的な使用のための価格としてテストの精度を犠牲にしている。
インクリメンタル学習中に出力重みに対する一般化された逆解やリッジ解を得ることはできない。
非常に小さなリッジパラメータの下で動作可能な低メモリのBLS実装を開発する必要がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The existing low-memory BLS implementation proposed recently avoids the need
for storing and inverting large matrices, to achieve efficient usage of
memories. However, the existing low-memory BLS implementation sacrifices the
testing accuracy as a price for efficient usage of memories, since it can no
longer obtain the generalized inverse or ridge solution for the output weights
during incremental learning, and it cannot work under the very small ridge
parameter that is utilized in the original BLS. Accordingly, it is required to
develop the low-memory BLS implementations, which can work under very small
ridge parameters and compute the generalized inverse or ridge solution for the
output weights in the process of incremental learning. In this paper, firstly
we propose the low-memory implementations for the recently proposed recursive
and square-root BLS algorithms on added inputs and the recently proposed
squareroot BLS algorithm on added nodes, by simply processing a batch of inputs
or nodes in each recursion. Since the recursive BLS implementation includes the
recursive updates of the inverse matrix that may introduce numerical
instabilities after a large number of iterations, and needs the extra
computational load to decompose the inverse matrix into the Cholesky factor
when cooperating with the proposed low-memory implementation of the square-root
BLS algorithm on added nodes, we only improve the low-memory implementations of
the square-root BLS algorithms on added inputs and nodes, to propose the full
lowmemory implementation of the square-root BLS algorithm. All the proposed
low-memory BLS implementations compute the ridge solution for the output
weights in the process of incremental learning, and most of them can work under
very small ridge parameters.
- Abstract（参考訳）: 既存の低メモリのBLS実装では、記憶の効率的な利用を実現するために、大きな行列を保存・反転する必要がない。
しかし、既存の低メモリのBLS実装では、インクリメンタルラーニング中に出力重みの一般化された逆あるいはリッジ解を得ることができなくなり、元のBLSで使用される非常に小さなリッジパラメータの下では動作できないため、メモリの効率的な使用のための価格としてテスト精度を犠牲にしている。
したがって、低メモリのBLS実装は、非常に小さなリッジパラメータの下で動作し、インクリメンタル学習の過程で出力重みに対する一般化された逆あるいはリッジ解を計算する必要がある。
本稿では、まず、最近提案された再帰的および平方根BLSアルゴリズムと、最近提案された追加ノード上の平方根BLSアルゴリズムの低メモリ実装について、各再帰における入力やノードのバッチを単純に処理することで、提案する。
Since the recursive BLS implementation includes the recursive updates of the inverse matrix that may introduce numerical instabilities after a large number of iterations, and needs the extra computational load to decompose the inverse matrix into the Cholesky factor when cooperating with the proposed low-memory implementation of the square-root BLS algorithm on added nodes, we only improve the low-memory implementations of the square-root BLS algorithms on added inputs and nodes, to propose the full lowmemory implementation of the square-root BLS algorithm.
提案した低メモリのBLS実装はすべて、インクリメンタルラーニングの過程で出力重み付けのリッジ解を計算し、そのほとんどは非常に小さなリッジパラメータの下で動作することができる。
関連論文リスト
- Sparser Training for On-Device Recommendation Systems [50.74019319100728]
動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。
これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
論文 参考訳（メタデータ） (2024-11-19T03:48:48Z) - Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。
低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。
コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
論文 参考訳（メタデータ） (2024-11-04T04:58:20Z) - Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。
既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。
本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
論文 参考訳（メタデータ） (2024-10-10T08:10:53Z) - Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation [29.139579820699495]
この研究は、活性化関数と層正規化の観点から微調整におけるメモリオーバーヘッドを低減することを目的としている。
提案手法をバックプロパゲーショントレーニングに適用し,GELUおよびSiLU活性化関数のメモリ効率の代替を導出する。
さらに、メモリ共有バックプロパゲーション戦略を導入し、アクティベーションメモリを2つの隣接層で共有できるようにする。
論文 参考訳（メタデータ） (2024-06-24T03:09:15Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳（メタデータ） (2024-02-18T14:08:48Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳（メタデータ） (2023-10-16T09:04:28Z) - Reducing Memory Requirements of Quantum Optimal Control [0.0]
GRAPEのような勾配に基づくアルゴリズムは、ストレージの指数的な増加、量子ビットの増加、メモリ要求の線形増加、時間ステップの増加に悩まされる。
我々は、ユニタリ行列の逆が共役変換であるという事実を利用して、GRAPEが必要とする勾配を計算できる非標準自動微分法を開発した。
提案手法は, GRAPEのメモリ要求を大幅に低減し, 妥当な再計算を犠牲にしている。
論文 参考訳（メタデータ） (2022-03-23T20:42:54Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳（メタデータ） (2021-11-22T11:23:01Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Learning the Step-size Policy for the Limited-Memory
Broyden-Fletcher-Goldfarb-Shanno Algorithm [3.7470451129384825]
本稿では,L-BFGSアルゴリズムのステップサイズポリシの学習方法について考察する。
入力として電流勾配の局所的な情報を用いたニューラルネットワークアーキテクチャを提案する。
ステップ長ポリシは、同様の最適化問題のデータから学習され、目的関数のさらなる評価を回避し、出力ステップが予め定義された間隔内に留まることを保証します。
論文 参考訳（メタデータ） (2020-10-03T09:34:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。