論文の概要: Solving Hidden Monotone Variational Inequalities with Surrogate Losses
- arxiv url: http://arxiv.org/abs/2411.05228v1
- Date: Thu, 07 Nov 2024 22:42:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 14:53:42.371902
- Title: Solving Hidden Monotone Variational Inequalities with Surrogate Losses
- Title（参考訳）: サロゲート損失を用いた隠れモノトン変量不等式の解法
- Authors: Ryan D'Orazio, Danilo Vucetic, Zichu Liu, Junhyung Lyle Kim, Ioannis Mitliagkas, Gauthier Gidel,
- Abstract要約: 本稿では,変分不等式(VI)問題の解法として,ディープラーニングに適合する原理的な代理型アプローチを提案する。
提案手法は,予測ベルマン誤差の最小化と最小化に有効であることを示す。
深層強化学習では,より計算的かつ効率的なTD(0)の新たな変種を提案する。
- 参考スコア（独自算出の注目度）: 23.565183680315073
- License:
- Abstract: Deep learning has proven to be effective in a wide variety of loss minimization problems. However, many applications of interest, like minimizing projected Bellman error and min-max optimization, cannot be modelled as minimizing a scalar loss function but instead correspond to solving a variational inequality (VI) problem. This difference in setting has caused many practical challenges as naive gradient-based approaches from supervised learning tend to diverge and cycle in the VI case. In this work, we propose a principled surrogate-based approach compatible with deep learning to solve VIs. We show that our surrogate-based approach has three main benefits: (1) under assumptions that are realistic in practice (when hidden monotone structure is present, interpolation, and sufficient optimization of the surrogates), it guarantees convergence, (2) it provides a unifying perspective of existing methods, and (3) is amenable to existing deep learning optimizers like ADAM. Experimentally, we demonstrate our surrogate-based approach is effective in min-max optimization and minimizing projected Bellman error. Furthermore, in the deep reinforcement learning case, we propose a novel variant of TD(0) which is more compute and sample efficient.
- Abstract（参考訳）: ディープラーニングは、幅広い損失最小化問題に有効であることが証明されている。
しかし、ベルマン誤差の最小化やmin-max最適化のような多くの興味ある応用は、スカラー損失関数の最小化としてモデル化することはできず、代わりに変分不等式(VI)問題の解法に対応する。
このような設定の違いは、教師付き学習からの直感的な勾配に基づくアプローチがVIのケースでは分岐し、サイクルとなる傾向があるため、多くの実践的な課題を引き起こしている。
そこで本研究では,VIを解くために,ディープラーニングと相反する原理的サロゲートベースのアプローチを提案する。
提案手法は,(1)現実的な仮定(隠されたモノトーン構造が存在する場合,補間やサロゲートの十分な最適化)の下では,収束を保証し,(2)既存の手法の統一的な視点を提供し,(3)ADAMのような既存のディープラーニングオプティマイザに順応可能であることを示す。
実験により,提案手法は最小限の最適化とベルマン誤差の最小化に有効であることを示す。
さらに, 深部強化学習では, より計算効率が高く, サンプル効率のよい新しい変種TD(0)を提案する。
関連論文リスト
- A Variance Minimization Approach to Temporal-Difference Learning [12.026021568207206]
本稿では,誤差最小化の代わりに値ベースRLに対する分散最小化(VM)手法を提案する。
提案手法では,ベルマン誤差 (VBE) と投影ベルマン誤差 (VPBE) の2つの目的について検討した。
論文 参考訳（メタデータ） (2024-11-10T08:56:16Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳（メタデータ） (2024-03-06T04:43:22Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - Simple and optimal methods for stochastic variational inequalities, I:
operator extrapolation [9.359939442911127]
まず,決定論的変分不等式(VI)問題を解決するための演算子外挿法を提案する。
次に、演算子外挿法(SOE)を導入し、その最適収束挙動を異なる不等式 VI 問題を解くために確立する。
論文 参考訳（メタデータ） (2020-11-05T17:20:19Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z) - Learning the Truth From Only One Side of the Story [58.65439277460011]
一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。
理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
論文 参考訳（メタデータ） (2020-06-08T18:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。