論文の概要: Efficient Online-Bandit Strategies for Minimax Learning Problems

• arxiv url: http://arxiv.org/abs/2105.13939v1
• Date: Fri, 28 May 2021 16:01:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:44:53.898227
• Title: Efficient Online-Bandit Strategies for Minimax Learning Problems
• Title（参考訳）: minimax学習問題に対する効率的なオンラインバンド戦略
• Authors: Christophe Roux, Elias Wirth, Sebastian Pokutta, Thomas Kerdreux
• Abstract要約: いくつかの学習問題は、例えば、実験的な分散ロバスト学習や、非標準集約的損失による最小化といった、min-max問題の解決に関係している。 具体的には、これらの問題は、モデルパラメータ$winmathcalW$と、トレーニングセットの実証分布$pinmathcalK$で学習を行う凸線型問題である。 効率的な手法を設計するために、オンライン学習アルゴリズムを(組合せ)帯域幅アルゴリズムと対戦させる。
• 参考スコア（独自算出の注目度）: 21.300877551771197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several learning problems involve solving min-max problems, e.g., empirical distributional robust learning or learning with non-standard aggregated losses. More specifically, these problems are convex-linear problems where the minimization is carried out over the model parameters $w\in\mathcal{W}$ and the maximization over the empirical distribution $p\in\mathcal{K}$ of the training set indexes, where $\mathcal{K}$ is the simplex or a subset of it. To design efficient methods, we let an online learning algorithm play against a (combinatorial) bandit algorithm. We argue that the efficiency of such approaches critically depends on the structure of $\mathcal{K}$ and propose two properties of $\mathcal{K}$ that facilitate designing efficient algorithms. We focus on a specific family of sets $\mathcal{S}_{n,k}$ encompassing various learning applications and provide high-probability convergence guarantees to the minimax values.
• Abstract（参考訳）: いくつかの学習問題には、経験的分布的ロバスト学習や、非標準集合的損失を伴う学習など、min-max問題を解決することが含まれる。 より具体的には、これらの問題は、モデルパラメータ$w\in\mathcal{W}$上で最小化を行う凸線型問題であり、経験的分布$p\in\mathcal{K}$での最大化はトレーニングセットインデックスであり、$\mathcal{K}$は単純あるいはその部分集合である。 効率的な手法を設計するために,オンライン学習アルゴリズムを(組み合わせ)banditアルゴリズムと対戦させる。 このような手法の効率性は$\mathcal{K}$の構造に依存し、効率的なアルゴリズムの設計を容易にする$\mathcal{K}$の2つの性質を提案する。 我々は、様々な学習アプリケーションを含む集合の特定の族 $\mathcal{S}_{n,k}$ に焦点を当て、ミニマックス値に対して高確率収束を保証する。

関連論文リスト

• Learning to Solve the Constrained Most Probable Explanation Task in Probabilistic Graphical Models [10.603378323312809]
  我々は、制約された最も予測可能な説明(CMPE)問題に対して、ほぼ最適解を出力することを学ぶディープニューラルネットワークを訓練する。 提案手法の特性を解析し,その有効性をいくつかのベンチマーク問題で実験的に実証する。
  論文  参考訳（メタデータ） (2024-04-17T17:55:17Z)
• Solving a Class of Non-Convex Minimax Optimization in Federated Learning [84.98927714326908]
  ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。 本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。 我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
  論文  参考訳（メタデータ） (2023-10-05T15:48:41Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Optimality of Robust Online Learning [4.21768682940933]
  再生カーネルヒルベルト空間(RKHS)上の回帰のために,ロバストな損失関数$mathcalL_sigma$を用いたオンライン学習アルゴリズムについて検討する。 提案アルゴリズムは,条件付き平均関数の推定を目的としたオンライン最小二乗回帰の頑健な代替手段である。
  論文  参考訳（メタデータ） (2023-04-20T03:00:33Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems [26.24895953952318]
  我々は,非ガンスミニマックス問題のクラスを解くアルゴリズムを開発した。 また、単一または2つのミニバッチ誘導体でも機能する。
  論文  参考訳（メタデータ） (2020-06-27T03:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。