論文の概要: One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares

• arxiv url: http://arxiv.org/abs/2207.13853v1
• Date: Thu, 28 Jul 2022 02:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 12:17:55.390268
• Title: One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares
• Title（参考訳）: 直交勾配降下と再帰最小二乗法による一パス学習
• Authors: Youngjae Min, Kwangjun Ahn, Navid Azizan
• Abstract要約: 我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
• 参考スコア（独自算出の注目度）: 8.443742714362521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While deep neural networks are capable of achieving state-of-the-art performance in various domains, their training typically requires iterating for many passes over the dataset. However, due to computational and memory constraints and potential privacy concerns, storing and accessing all the data is impractical in many real-world scenarios where the data arrives in a stream. In this paper, we investigate the problem of one-pass learning, in which a model is trained on sequentially arriving data without retraining on previous datapoints. Motivated by the increasing use of overparameterized models, we develop Orthogonal Recursive Fitting (ORFit), an algorithm for one-pass learning which seeks to perfectly fit every new datapoint while changing the parameters in a direction that causes the least change to the predictions on previous datapoints. By doing so, we bridge two seemingly distinct algorithms in adaptive filtering and machine learning, namely the recursive least-squares (RLS) algorithm and orthogonal gradient descent (OGD). Our algorithm uses the memory efficiently by exploiting the structure of the streaming data via an incremental principal component analysis (IPCA). Further, we show that, for overparameterized linear models, the parameter vector obtained by our algorithm is what stochastic gradient descent (SGD) would converge to in the standard multi-pass setting. Finally, we generalize the results to the nonlinear setting for highly overparameterized models, relevant for deep learning. Our experiments show the effectiveness of the proposed method compared to the baselines.
• Abstract（参考訳）: ディープニューラルネットワークは、さまざまな領域で最先端のパフォーマンスを実現することができるが、トレーニングは通常、データセットに多くのパスを繰り返す必要がある。 しかし、計算とメモリの制約と潜在的なプライバシー上の懸念から、データがストリームに届く多くの現実のシナリオでは、すべてのデータの保存とアクセスは現実的ではない。 本稿では,従来のデータポイントを再学習することなく,逐次到着するデータに対してモデルを訓練するワンパス学習の問題点について考察する。 過パラメータモデルの利用の増加に動機づけられて,1パス学習のための直交再帰的適合(orfit)と呼ばれるアルゴリズムを開発した。 これにより、適応フィルタリングと機械学習の2つの明らかに異なるアルゴリズム、すなわち再帰最小二乗法(RLS)アルゴリズムと直交勾配勾配(OGD)アルゴリズムを橋渡しする。 このアルゴリズムは、インクリメンタル主成分分析(ipca)を介してストリーミングデータの構造を活用し、メモリを効率的に利用する。 さらに、過パラメータ化線形モデルに対して、我々のアルゴリズムによって得られたパラメータベクトルは、標準マルチパス設定において確率勾配降下(SGD)が収束することを示す。 最後に,高パラメータモデルの非線形設定に結果を一般化し,深層学習に寄与する。 本実験では,提案手法の有効性をベースラインと比較した。

関連論文リスト

• Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
  分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。 提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-12T13:53:03Z)
• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Efficient Parametric Approximations of Neural Network Function Space Distance [6.117371161379209]
  モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。 我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。 本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
  論文  参考訳（メタデータ） (2023-02-07T15:09:23Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Transfer-Learning Across Datasets with Different Input Dimensions: An Algorithm and Analysis for the Linear Regression Case [7.674023644408741]
  本稿では,新しいデータと過去のデータを異なる入力次元で組み合わせた転送学習アルゴリズムを提案する。 提案手法は,9つの実生活データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-02-10T14:57:15Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Online Robust and Adaptive Learning from Data Streams [22.319483572757097]
  オンライン学習では、アウトレーヤにしっかりと学習し、基盤となるデータ生成メカニズムの変化に迅速に適応する必要がある。 本稿では,従来のオンライン学習アルゴリズムの属性をロバスト性,後者を適応性と呼ぶ。 本稿では,このトレードオフを評価するために,近似に基づくロバスト性適応アルゴリズム(SRA)を提案する。
  論文  参考訳（メタデータ） (2020-07-23T17:49:04Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。