論文の概要: Two Ridge Solutions for the Incremental Broad Learning System on Added Nodes
- arxiv url: http://arxiv.org/abs/1911.04872v5
- Date: Fri, 21 Jun 2024 23:03:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 23:34:57.560713
- Title: Two Ridge Solutions for the Incremental Broad Learning System on Added Nodes
- Title（参考訳）: 付加ノード上のインクリメンタルブロードラーニングシステムのための2つのリッジ解法
- Authors: Hufei Zhu,
- Abstract要約: 付加ノード上でのブロードラーニングシステム(BLS)の出力重みに対する2つのリッジ解を提案する。
提案したリッジ解の1つは、逆コレスキー因子の出力重みを計算する。
もう一つの提案されたリッジ解は、リッジの逆の出力重みを計算する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The original Broad Learning System (BLS) on new added nodes and its existing efficient implementation both assume the ridge parameter lambda -> 0 in the ridge inverse to approximate the generalized inverse, and compute the generalized inverse solution for the output weights. In this paper, we propose two ridge solutions for the output weights in the BLS on added nodes, where lambda -> 0 is no longer assumed, and lambda can be any positive real number. One of the proposed ridge solutions computes the output weights from the inverse Cholesky factor, which is updated efficiently by extending the existing inverse Cholesky factorization. The other proposed ridge solution computes the output weights from the ridge inverse, and updates the ridge inverse by extending the Greville's method that is a classical tool to compute the generalized inverse of partitioned matrices. For the proposed efficient ridge solution based on the inverse Cholesky factor, we also develop another implementation that is numerically more stable when the ridge parameter lambda is very small. The proposed ridge solution based on the ridge inverse and the numerically more stable implementation of the proposed efficient ridge solution require the same complexity as the original BLS and the existing efficient BLS, respectively. Moreover, the speedups of the proposed efficient ridge solution to the original BLS and the existing efficient BLS are 3 and more than 1.67 respectively, when the computational complexities for each update are compared, and the speedups are 1.99 - 2.52 and 1.31 - 1.58, respectively, when the total training time is compared by numerical experiments. On the other hand, our numerical experiments show that both the proposed ridge solutions for BLS achieve better testing accuracies than the original BLS and the existing efficient BLS.
- Abstract（参考訳）: 新たに追加されたノード上の元のBroad Learning System (BLS) と、その既存の効率的な実装は、一般化された逆の近似のためにリッジの逆のリッジパラメータ lambda -> 0 を仮定し、出力重みに対する一般化された逆解を計算する。
本稿では, ラムダ-> 0 がもはや仮定されず, ラムダが任意の正の実数となるような, 付加ノード上での BLS の出力重みに対する2つのリッジ解を提案する。
提案したリッジ解の1つは、既存の逆コレスキー分解を拡張して効率的に更新される逆コレスキー因子の出力重みを計算する。
もう1つの提案されたリッジ解は、尾根逆から出力の重みを計算し、分割行列の一般化逆を計算する古典的なツールであるグレヴィル法を拡張して、尾根逆を更新する。
逆コレスキー係数に基づく効率的なリッジ解を提案するため、リッジパラメータラムダが非常に小さい場合、数値的により安定な別の実装も開発する。
提案手法は,尾根逆数と数値的により安定した有効尾根解の実装に基づいて,それぞれ元のBLSと既存のBLSと同じ複雑さを必要とする。
さらに、元のBLSと既存のBLSに対する効率的なリッジ解の高速化は、各更新の計算複雑度を比較するとそれぞれ3と1.67であり、総トレーニング時間を数値実験で比較すると、スピードアップは1.99 - 2.52と1.31 - 1.58である。
一方, 提案手法は, 従来のBLSや既存のBLSよりも優れた試験精度が得られることを示す数値実験を行った。
関連論文リスト
- Optimization-based Structural Pruning for Large Language Models without Back-Propagation [57.9629676017527]
本稿では,Large-Language Models (LLMs) を用いた最適化に基づく構造解析手法を提案する。
本手法は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。
提案手法は,A100 GPUの13Bモデルに対して,約35GBのメモリで2.7時間動作する。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - Parallel Bayesian Optimization Using Satisficing Thompson Sampling for
Time-Sensitive Black-Box Optimization [0.0]
本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。
ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。
リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2023-10-19T07:03:51Z) - Decreasing the Computing Time of Bayesian Optimization using
Generalizable Memory Pruning [56.334116591082896]
本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。
BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。
すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
論文 参考訳（メタデータ） (2023-09-08T14:05:56Z) - Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
本稿では,モデル選択とBOを統合する新しい手法を提案する。
このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。
サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
論文 参考訳（メタデータ） (2023-08-01T04:46:58Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳（メタデータ） (2023-01-30T15:46:39Z) - Optimization-based Block Coordinate Gradient Coding for Mitigating
Partial Stragglers in Distributed Learning [58.91954425047425]
本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。
L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
論文 参考訳（メタデータ） (2022-06-06T09:25:40Z) - Low-Memory Implementations of Ridge Solutions for Broad Learning System
with Incremental Learning [0.0]
既存の低メモリのBLS実装は、メモリの効率的な使用のための価格としてテストの精度を犠牲にしている。
インクリメンタル学習中に出力重みに対する一般化された逆解やリッジ解を得ることはできない。
非常に小さなリッジパラメータの下で動作可能な低メモリのBLS実装を開発する必要がある。
論文 参考訳（メタデータ） (2021-05-21T15:48:47Z) - On Stochastic Variance Reduced Gradient Method for Semidefinite
Optimization [14.519696724619074]
SVRG法は最も有効な方法の1つと考えられている。
半定型プログラミング(SDP)に適応する場合、理論と実践の間には大きなギャップがある
本稿では,このギャップを,半定値最適化に適応したオプションIを用いて,元のSVRGの新たな変種を利用して埋める。
論文 参考訳（メタデータ） (2021-01-01T13:55:32Z) - Scalable Combinatorial Bayesian Optimization with Tractable Statistical
models [44.25245545568633]
緩和空間上のブラックボックス関数(集合、列、木、グラフなど)を最適化する問題について検討する。
サブモジュール緩和の最近の進歩に基づき,BOCSモデルにおけるAFO問題のスケーラビリティと精度向上を目標として,Parametrized Submodular (PSR) のアプローチを検討する。
多様なベンチマーク問題に対する実験では、BOCSモデルに対するPSRによる大幅な改善が示されている。
論文 参考訳（メタデータ） (2020-08-18T22:56:46Z) - Efficient and Stable Algorithms to Extend Greville's Method to
Partitioned Matrices Based on Inverse Cholesky Factorization [0.0]
BLSのインクリメンタルアルゴリズムはグレヴィルの手法を拡張して、行列全体の擬逆を最初の部分の擬逆から1回だけ計算する。
本稿では,Grevilleの手法から,第1部の擬似逆数から行列全体の擬似逆数を計算するための,効率的で数値的な安定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-14T14:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。