論文の概要: Bilevel Online Deep Learning in Non-stationary Environment
- arxiv url: http://arxiv.org/abs/2201.10236v1
- Date: Tue, 25 Jan 2022 11:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 02:10:05.779890
- Title: Bilevel Online Deep Learning in Non-stationary Environment
- Title（参考訳）: 非定常環境におけるバイレベルオンラインディープラーニング
- Authors: Ya-nan Han, Jian-wei Liu, Bing-biao Xiao, Xin-Tan Wang, Xiong-lin Luo
- Abstract要約: Bilevel Online Deep Learning (BODL)フレームワークは、双方向最適化戦略とオンラインアンサンブル分類器を組み合わせたフレームワークである。
概念ドリフトが検出されると、BODLアルゴリズムはバイレベル最適化によりモデルパラメータを適応的に更新し、大きなドリフトを回避し、正の転送を促進する。
- 参考スコア（独自算出の注目度）: 4.565872584112864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have witnessed enormous progress of online learning. However, a
major challenge on the road to artificial agents is concept drift, that is, the
data probability distribution would change where the data instance arrives
sequentially in a stream fashion, which would lead to catastrophic forgetting
and degrade the performance of the model. In this paper, we proposed a new
Bilevel Online Deep Learning (BODL) framework, which combine bilevel
optimization strategy and online ensemble classifier. In BODL algorithm, we use
an ensemble classifier, which use the output of different hidden layers in deep
neural network to build multiple base classifiers, the important weights of the
base classifiers are updated according to exponential gradient descent method
in an online manner. Besides, we apply the similar constraint to overcome the
convergence problem of online ensemble framework. Then an effective concept
drift detection mechanism utilizing the error rate of classifier is designed to
monitor the change of the data probability distribution. When the concept drift
is detected, our BODL algorithm can adaptively update the model parameters via
bilevel optimization and then circumvent the large drift and encourage positive
transfer. Finally, the extensive experiments and ablation studies are conducted
on various datasets and the competitive numerical results illustrate that our
BODL algorithm is a promising approach.
- Abstract（参考訳）: 近年、オンライン学習の著しい進歩が見られた。
しかし、人工エージェントへの道の1つの大きな課題はコンセプトドリフトであり、データ確率分布は、データインスタンスがストリーム形式で順次到着した場所で変化し、破滅的なモデルの性能の低下につながる。
本稿では,バイレベル最適化戦略とオンラインアンサンブル分類器を組み合わせた新しいbilevel Online Deep Learning(BODL)フレームワークを提案する。
BODLアルゴリズムでは,深層ニューラルネットワークの異なる隠蔽層を出力して複数の基底分類器を構築するアンサンブル分類器を用いて,指数勾配降下法に基づいて基本分類器の重要な重みをオンライン的に更新する。
さらに,オンラインアンサンブルフレームワークの収束問題を克服するために,同様の制約を適用した。
次に、分類器の誤差率を利用した効率的な概念ドリフト検出機構を設計し、データ確率分布の変化を監視する。
概念ドリフトが検出されると、BODLアルゴリズムはバイレベル最適化によりモデルパラメータを適応的に更新し、大きなドリフトを回避し、正の転送を促進する。
最後に,様々なデータセットを用いた広範な実験とアブレーション実験を行い,bodlアルゴリズムが有望な手法であることを示す。
関連論文リスト
- A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - Stabilizing Linear Passive-Aggressive Online Learning with Weighted Reservoir Sampling [46.01254613933967]
オンライン学習手法は、高次元ストリーミングデータ、アウトオブコア処理、その他のスループットに敏感なアプリケーションに依然として有効である。
このようなアルゴリズムの多くは、その収束の鍵として個々のエラーへの高速な適応に依存している。
このようなアルゴリズムは理論上の後悔は少ないが、現実の展開では個々の外れ値に敏感であり、アルゴリズムが過度に修正される可能性がある。
論文 参考訳（メタデータ） (2024-10-31T03:35:48Z) - Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文 参考訳（メタデータ） (2023-06-21T14:36:03Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - A Differential Game Theoretic Neural Optimizer for Training Residual
Networks [29.82841891919951]
本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。
得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
論文 参考訳（メタデータ） (2020-07-17T10:19:17Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。