論文の概要: Temporal Variability in Implicit Online Learning

• arxiv url: http://arxiv.org/abs/2006.07503v2
• Date: Fri, 6 Nov 2020 19:59:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:06:40.698942
• Title: Temporal Variability in Implicit Online Learning
• Title（参考訳）: 暗黙的オンライン学習における時間変動
• Authors: Nicol\`o Campolongo, Francesco Orabona
• Abstract要約: 最強の後悔分析は、オンラインミラー・ダイスンよりも限界的な改善しか示さない。 損失関数列の時間的変動に依存する新しい静的な後悔境界を証明した。 本稿では、時間的変動の事前知識を必要とせずに、この後悔を抑える適応アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.974402990630402
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the setting of online learning, Implicit algorithms turn out to be highly successful from a practical standpoint. However, the tightest regret analyses only show marginal improvements over Online Mirror Descent. In this work, we shed light on this behavior carrying out a careful regret analysis. We prove a novel static regret bound that depends on the temporal variability of the sequence of loss functions, a quantity which is often encountered when considering dynamic competitors. We show, for example, that the regret can be constant if the temporal variability is constant and the learning rate is tuned appropriately, without the need of smooth losses. Moreover, we present an adaptive algorithm that achieves this regret bound without prior knowledge of the temporal variability and prove a matching lower bound. Finally, we validate our theoretical findings on classification and regression datasets.
• Abstract（参考訳）: オンライン学習の設定において、Implicitアルゴリズムは実践的な観点から非常に成功した。 しかし、最も厳しい後悔の分析は、オンラインミラー・ダイスンよりも限界的な改善しか示さなかった。 本研究では, 注意深い後悔分析を行ない, この行動に光を当てる。 我々は、損失関数列の時間的変動に依存する新しい静的な後悔境界、すなわち、動的競合を考える際にしばしば遭遇する量を証明する。 例えば、時間的変動が一定であり、学習速度がスムーズな損失を伴わずに適切に調整された場合、後悔は一定であることを示す。 さらに, 時間変動の事前知識を必要とせず, この後悔境界を達成する適応アルゴリズムを提案し, 一致する下限を証明した。 最後に,分類および回帰データセットに関する理論的知見を検証する。

関連論文リスト

• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Improving Adaptive Online Learning Using Refined Discretization [44.646191058243645]
  リプシッツ損失を伴う制約のないオンライン線形最適化について検討する。 インスタンス最適性の追求に動機づけられ,我々は新しいアルゴリズムを提案する。 これらの結果の中心は、オンライン学習に対する継続的な時間的アプローチである。
  論文  参考訳（メタデータ） (2023-09-27T21:54:52Z)
• Learning Rate Schedules in the Presence of Distribution Shift [18.310336156637774]
  我々は、変化するデータ分布の存在下で、後悔するネットワークが累積的に学習する学習スケジュールを設計する。 我々は, 高次元回帰モデルを用いて, 後悔モデルを増加させる実験を行った。
  論文  参考訳（メタデータ） (2023-03-27T23:29:02Z)
• Improved Online Conformal Prediction via Strongly Adaptive Online Learning [86.4346936885507]
  我々は、強い適応的後悔を最小限に抑える新しいオンライン共形予測手法を開発した。 提案手法は,すべての区間において,ほぼ最適に適応的な後悔を同時に達成できることを実証する。 実験により,本手法は実世界のタスクにおける既存の手法よりも,より優れたカバレッジと予測セットが得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-15T18:59:30Z)
• Dynamic Regret of Adaptive Gradient Methods for Strongly Convex Problems [0.0]
  我々は、動的後悔の概念を通じて、強い凸条件でADAGRAD(M-ADAGRAD)の変種を通り抜ける。 我々は、環境の非定常性を本質的に反映する最小化シーケンスのパス長という観点で、後悔すべき境界を示す。
  論文  参考訳（メタデータ） (2022-09-04T12:40:57Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Online Control of Unknown Time-Varying Dynamical Systems [48.75672260851758]
  非確率制御モデルにおいて、未知のダイナミクスを持つ時間変化線形系のオンライン制御について検討する。 本研究では,反省行動 (SLS) や反省反応 (Youla) , 線形フィードバック政策 (線形フィードバックポリシー) といった一般的な政策のクラスに関して, 後悔すべき境界について検討する。
  論文  参考訳（メタデータ） (2022-02-16T06:57:14Z)
• Robust learning with anytime-guaranteed feedback [6.903929927172917]
  勾配に基づく学習アルゴリズムは、ほとんど性能保証のないクエリフィードバックによって駆動される。 ここでは、高確率エラーバウンダリを許容する修正された"常にオンラインからバッチ"メカニズムについて検討する。 実際に、実世界のデータアプリケーションで注目すべき利益をあげている。
  論文  参考訳（メタデータ） (2021-05-24T07:31:52Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• A closer look at temporal variability in dynamic online learning [19.468067110814808]
  この作品は、完全な情報でオンライン学習の文脈でダイナミックな後悔の設定に焦点を当てています。 損失関数の列は時間とともに大きく変化しないと仮定することにより、既存の結果と比較して改善された後悔境界を導き出すことが可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-15T16:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。