Fugu-MT 論文翻訳(概要): An Adaptive Algorithm for Learning with Unknown Distribution Drift

論文の概要: An Adaptive Algorithm for Learning with Unknown Distribution Drift

arxiv url: http://arxiv.org/abs/2305.02252v2
Date: Thu, 8 Jun 2023 18:34:56 GMT
ステータス: 処理完了
システム内更新日: 2023-06-12 17:07:12.075524
Title: An Adaptive Algorithm for Learning with Unknown Distribution Drift
Title（参考訳）: 未知分布ドリフトを用いた適応的学習アルゴリズム
Authors: Alessio Mazzetto, Eli Upfal
Abstract要約: 本研究では,未知分布ドリフトを用いた学習手法の開発と解析を行う。我々の技術はドリフトの大きさに関する事前の知識を必要としない。我々のアルゴリズムはデータに適応するため、ドリフト上のゆるい境界に依存するアルゴリズムよりも優れた学習誤差を保証できる。
参考スコア（独自算出の注目度）: 5.502838265481943
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We develop and analyze a general technique for learning with an unknown distribution drift. Given a sequence of independent observations from the last $T$ steps of a drifting distribution, our algorithm agnostically learns a family of functions with respect to the current distribution at time $T$. Unlike previous work, our technique does not require prior knowledge about the magnitude of the drift. Instead, the algorithm adapts to the sample data. Without explicitly estimating the drift, the algorithm learns a family of functions with almost the same error as a learning algorithm that knows the magnitude of the drift in advance. Furthermore, since our algorithm adapts to the data, it can guarantee a better learning error than an algorithm that relies on loose bounds on the drift.
Abstract（参考訳）: 我々は,未知分布ドリフトを用いた一般学習手法を開発し,解析する。ドリフト分布の最後の$t$ステップから独立した観測のシーケンスを考えると、アルゴリズムは、時間$t$の現在の分布に関する関数群を無意識的に学習する。従来の作業とは異なり,この手法ではドリフトの大きさに関する事前の知識を必要としない。その代わりに、アルゴリズムはサンプルデータに適応する。ドリフトを明示的に推定することなく、アルゴリズムはドリフトの大きさを事前に知っている学習アルゴリズムとほとんど同じ誤差の関数群を学習する。さらに,本アルゴリズムはデータに適応するので,ドリフト上のゆるい境界に依存するアルゴリズムよりも学習誤差がよいことを保証できる。

関連論文リスト

A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文参考訳（メタデータ） (2024-07-19T08:29:12Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。本実験では,提案手法の有効性をベースラインと比較した。
論文参考訳（メタデータ） (2022-07-28T02:01:31Z)
Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文参考訳（メタデータ） (2021-11-23T18:10:48Z)
AWD3: Dynamic Reduction of the Estimation Bias [0.0]
本稿では,経験再生機構を用いた非政治連続制御アルゴリズムにおける推定バイアスを除去する手法を提案する。 OpenAIのジムの継続的な制御環境を通じて、我々のアルゴリズムは、最先端の政治政策勾配学習アルゴリズムにマッチするか、より優れています。
論文参考訳（メタデータ） (2021-11-12T15:46:19Z)
Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information [37.70729542263343]
本稿では,大規模機械学習問題に対する適応最適化アルゴリズムを提案する。我々の手法は方向とステップサイズを動的に適応させる。我々の手法は退屈なチューニング率チューニングを必要としない。
論文参考訳（メタデータ） (2021-09-11T06:39:50Z)
Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文参考訳（メタデータ） (2021-01-08T18:55:07Z)
Discovering Reinforcement Learning Algorithms [53.72358280495428]
強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。本稿では,更新ルール全体を検出するメタラーニング手法を提案する。これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
論文参考訳（メタデータ） (2020-07-17T07:38:39Z)
Information-theoretic analysis for transfer learning [5.081241420920605]
本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
論文参考訳（メタデータ） (2020-05-18T13:23:20Z)
Meta-learning with Stochastic Linear Bandits [120.43000970418939]
我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
論文参考訳（メタデータ） (2020-05-18T08:41:39Z)
DriftSurf: A Risk-competitive Learning Algorithm under Concept Drift [12.579800289829963]
ストリーミングデータから学ぶとき、概念ドリフト(concept drift)とも呼ばれるデータ分散の変化は、以前に学習したモデルが不正確なものになる可能性がある。本研究では,ドリフト検出をより広範な安定状態/反応性状態プロセスに組み込むことにより,従来のドリフト検出に基づく手法を拡張する適応学習アルゴリズムを提案する。このアルゴリズムはベースラーナーにおいて汎用的であり、様々な教師付き学習問題に適用できる。
論文参考訳（メタデータ） (2020-03-13T23:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。