論文の概要: Online non-convex optimization with imperfect feedback
- arxiv url: http://arxiv.org/abs/2010.08496v1
- Date: Fri, 16 Oct 2020 16:53:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 22:08:24.951754
- Title: Online non-convex optimization with imperfect feedback
- Title（参考訳）: 不完全フィードバックによるオンライン非凸最適化
- Authors: Am\'elie H\'eliou and Matthieu Martin and Panayotis Mertikopoulos and
Thibaud Rahier
- Abstract要約: 非損失を伴うオンライン学習の問題を考える。
フィードバックの観点からは、学習者が各段階における損失関数の不正確なモデル(または構成)を観測すると仮定する。
本稿では,二元平均化に基づく混合戦略学習政策を提案する。
- 参考スコア（独自算出の注目度）: 33.80530308979131
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of online learning with non-convex losses. In terms
of feedback, we assume that the learner observes - or otherwise constructs - an
inexact model for the loss function encountered at each stage, and we propose a
mixed-strategy learning policy based on dual averaging. In this general
context, we derive a series of tight regret minimization guarantees, both for
the learner's static (external) regret, as well as the regret incurred against
the best dynamic policy in hindsight. Subsequently, we apply this general
template to the case where the learner only has access to the actual loss
incurred at each stage of the process. This is achieved by means of a
kernel-based estimator which generates an inexact model for each round's loss
function using only the learner's realized losses as input.
- Abstract（参考訳）: 非凸損失を伴うオンライン学習の問題を考える。
フィードバックの観点では、学習者が各段階で遭遇する損失関数に対する不正確なモデルを観察する(あるいは構成する)と仮定し、二重平均化に基づく混合戦略学習方針を提案する。
この一般的な文脈では、学習者の静的な(外部の)後悔と、後見において最高の動的政策に反する後悔の両方に対して、一連の後悔の最小化保証を導出する。
その後、学習者がプロセスの各段階で発生した実際の損失にのみアクセス可能な場合に、この一般的なテンプレートを適用する。
これは、学習者の実現した損失のみを入力として、各ラウンドの損失関数に対して不正確なモデルを生成するカーネルベースの推定器によって達成される。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳（メタデータ） (2024-11-20T04:21:07Z) - LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。
我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-12T17:08:31Z) - Adversarial Online Learning with Temporal Feedback Graphs [13.267203883254087]
本稿では,ラウンド$t$での学習者の行動が,ラウンドの特定のサブセットの損失にのみ依存できるような,専門家のアドバイスによる予測のバリエーションについて検討する。
本稿では,このグラフのサブ閥間で損失を分配する戦略に基づいて,この設定のための新しい学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-30T03:14:17Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳（メタデータ） (2023-06-04T18:14:18Z) - Zeroth-order non-convex learning via hierarchical dual averaging [26.023679256204737]
我々は、ゼロ階オンライン非標準最適化のための双対動的平均化の階層バージョンを提案する。
我々は、学習者の静的なダイナミックな後悔、すなわち、舞台後部における最良のポリシーに対して、厳密な境界を導出する。
論文 参考訳（メタデータ） (2021-09-13T09:59:06Z) - A Mathematical Analysis of Learning Loss for Active Learning in
Regression [2.792030485253753]
本論文では、LearningLoss++と呼ばれる新しい修正を提案するためのLearning Lossの基礎を開発する。
本稿では,学習損失の解釈において,学習損失と学習ロス++との勾配を厳密に分析し比較することで,勾配が重要であることを示す。
また,異なるスケールで機能を組み合わせて損失を予測する畳み込みアーキテクチャを提案する。
learningloss++は、モデルがパフォーマンスの悪いシナリオを特定するのに優れており、モデルリファインメントがオープン世界での信頼性の高いパフォーマンスに繋がることを示している。
論文 参考訳（メタデータ） (2021-04-19T13:54:20Z) - Reducing Representation Drift in Online Continual Learning [87.71558506591937]
私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。
この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
論文 参考訳（メタデータ） (2021-04-11T15:19:30Z) - A Loss-Function for Causal Machine-Learning [0.0]
因果機械学習は、治療のネットエフェクト(真のリフト)を予測することである。
データにポイントワイド真の値がないため、同様のよく定義された損失関数は存在しない。
この文脈で損失関数を定義する新しい手法を提案し、これは標準回帰問題における平均二乗誤差(MSE)と等しい。
論文 参考訳（メタデータ） (2020-01-02T21:22:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。