論文の概要: An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives

• arxiv url: http://arxiv.org/abs/2006.10138v5
• Date: Fri, 12 Nov 2021 15:52:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:17:31.995736
• Title: An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives
• Title（参考訳）: 非凸目的を用いた分布的ロバスト最適化のオンライン手法
• Authors: Qi Qi, Zhishuai Guo, Yi Xu, Rong Jin, Tianbao Yang
• Abstract要約: 本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
• 参考スコア（独自算出の注目度）: 54.29001037565384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a practical online method for solving a class of distributionally robust optimization (DRO) with non-convex objectives, which has important applications in machine learning for improving the robustness of neural networks. In the literature, most methods for solving DRO are based on stochastic primal-dual methods. However, primal-dual methods for DRO suffer from several drawbacks: (1) manipulating a high-dimensional dual variable corresponding to the size of data is time expensive; (2) they are not friendly to online learning where data is coming sequentially. To address these issues, we consider a class of DRO with an KL divergence regularization on the dual variables, transform the min-max problem into a compositional minimization problem, and propose practical duality-free online stochastic methods without requiring a large mini-batch size. We establish the state-of-the-art complexities of the proposed methods with and without a Polyak-\L ojasiewicz (PL) condition of the objective. Empirical studies on large-scale deep learning tasks (i) demonstrate that our method can speed up the training by more than 2 times than baseline methods and save days of training time on a large-scale dataset with $\sim$ 265K images, and (ii) verify the supreme performance of DRO over Empirical Risk Minimization (ERM) on imbalanced datasets. Of independent interest, the proposed method can be also used for solving a family of stochastic compositional problems with state-of-the-art complexities.
• Abstract（参考訳）: 本稿では,ニューラルネットワークのロバスト性向上のための機械学習において重要な応用となる,非凸目的の分散ロバスト最適化(dro)クラスを解決するための実用的なオンライン手法を提案する。 文献では、DROの解法のほとんどは確率的原始双対法に基づいている。 しかし、DROの原始的双対法は、(1)データのサイズに応じた高次元の双対変数を操作することは時間的コストであり、(2)データが順次やってくるオンライン学習とは親和性がない。 これらの問題に対処するために、二変数上のKL分散正規化を持つDROのクラスを検討し、min-max問題を構成最小化問題に変換し、大規模なミニバッチサイズを必要としない実用的な双対性のないオンライン確率的手法を提案する。 提案手法は, 目的とするpolyak-\L ojasiewicz (PL) 条件を用いて, 提案手法の最先端複雑さを確立する。 大規模深層学習課題に関する実証的研究 (i)本手法は,ベースラインメソッドの2倍以上の速度でトレーニングを高速化し,$265kの画像を用いた大規模データセット上でのトレーニング時間を短縮できることを実証する。 (2)不均衡データセット上での経験的リスク最小化(ERM)に対するDROの最高性能を検証する。 独立利害関係において、提案手法は、最先端の複雑度を持つ確率的構成問題群を解くためにも用いられる。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Multiple Rotation Averaging with Constrained Reweighting Deep Matrix Factorization [22.487393413405954]
  コンピュータビジョンとロボティクス領域では、複数の回転平均化が重要な役割を果たす。 本稿では,データパターンを学習方法でマイニングするための効率的な回転平均化手法を提案する。
  論文  参考訳（メタデータ） (2024-09-15T16:50:27Z)
• Leveraging Constraint Programming in a Deep Learning Approach for Dynamically Solving the Flexible Job-Shop Scheduling Problem [1.3927943269211593]
  本稿では,制約プログラミング(CP)をディープラーニング(DL)ベースの方法論に統合し,両者の利点を活用することを目的とする。 本稿では,CP が生成する最適解を用いて DL モデルを訓練し,高品質なデータからモデルを学習する手法を提案する。 我々のハイブリッドアプローチは3つの公開FJSSPベンチマークで広範囲にテストされ、5つの最先端DRLアプローチよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-03-14T10:16:57Z)
• Efficient Methods for Non-stationary Online Learning [67.3300478545554]
  本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。 本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
  論文  参考訳（メタデータ） (2023-09-16T07:30:12Z)
• Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods [50.67996219968513]
  本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 入力空間の次元の2次パースタンスコストで精度よく近似的な再帰を実現する。 我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
  論文  参考訳（メタデータ） (2023-08-03T01:41:34Z)
• Hedging Complexity in Generalization via a Parametric Distributionally Robust Optimization Framework [18.6306170209029]
  経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。 本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。 この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:26:34Z)
• Learning Distributionally Robust Models at Scale via Composite Optimization [45.47760229170775]
  DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。 また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
  論文  参考訳（メタデータ） (2022-03-17T20:47:42Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Low-Rank Robust Online Distance/Similarity Learning based on the Rescaled Hinge Loss [0.34376560669160383]
  既存のオンライン手法では、トレーニング三つ子やペアの制約が事前に存在すると仮定することが多い。 オンライン距離相似学習問題を,ロバストな再スケールヒンジ損失関数を用いて定式化する。 提案モデルは比較的汎用的で,任意のPAベースのオンラインディスタンス・シミュラリティアルゴリズムに適用可能である。
  論文  参考訳（メタデータ） (2020-10-07T08:38:34Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。