Fugu-MT 論文翻訳(概要): Unbiased Gradient Estimation for Distributionally Robust Learning

論文の概要: Unbiased Gradient Estimation for Distributionally Robust Learning

arxiv url: http://arxiv.org/abs/2012.12367v1
Date: Tue, 22 Dec 2020 21:35:03 GMT
ステータス: 処理完了
システム内更新日: 2021-04-26 07:40:48.347837
Title: Unbiased Gradient Estimation for Distributionally Robust Learning
Title（参考訳）: 分布ロバスト学習のための不偏勾配推定
Authors: Soumyadip Ghosh and Mark Squillante
Abstract要約: 分散的に堅牢な学習(DRL)に基づく新しいアプローチを検討し、内部問題に勾配降下を適用します。本アルゴリズムはマルチレベルモンテカルロランダム化により勾配勾配を効率的に推定する。
参考スコア（独自算出の注目度）: 2.1777837784979277
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Seeking to improve model generalization, we consider a new approach based on distributionally robust learning (DRL) that applies stochastic gradient descent to the outer minimization problem. Our algorithm efficiently estimates the gradient of the inner maximization problem through multi-level Monte Carlo randomization. Leveraging theoretical results that shed light on why standard gradient estimators fail, we establish the optimal parameterization of the gradient estimators of our approach that balances a fundamental tradeoff between computation time and statistical variance. Numerical experiments demonstrate that our DRL approach yields significant benefits over previous work.
Abstract（参考訳）: モデル一般化を改善するために,確率的勾配降下を外的最小化問題に適用する分布的ロバスト学習(drl)に基づく新しいアプローチを検討する。本アルゴリズムは,マルチレベルモンテカルロランダム化による内部最大化問題の勾配を効率的に推定する。標準勾配推定器が故障した理由に関する理論的結果を活用して,計算時間と統計分散の基本的なトレードオフを両立する手法の勾配推定器の最適パラメータ化を定式化する。数値実験により、我々のDRLアプローチは以前の研究よりも大きな利益をもたらすことが示された。

関連論文リスト

Eliminating Ratio Bias for Gradient-based Simulated Parameter Estimation [0.7673339435080445]
本稿では、可能性関数が解析的に利用できないモデルにおけるパラメータキャリブレーションの課題に対処する。本稿では,最大推定と後続密度推定の両問題において,比バイアスの問題に対処するマルチタイムスケールを応用した勾配に基づくシミュレーションパラメータ推定フレームワークを提案する。
論文参考訳（メタデータ） (2024-11-20T02:46:15Z)
Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文参考訳（メタデータ） (2024-04-16T20:01:10Z)
Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文参考訳（メタデータ） (2023-10-30T18:43:21Z)
Scalable method for Bayesian experimental design without integrating over posterior distribution [0.0]
実験問題のA-最適ベイズ設計における計算効率について検討する。 A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
論文参考訳（メタデータ） (2023-06-30T12:40:43Z)
Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文参考訳（メタデータ） (2021-10-24T10:23:51Z)
Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文参考訳（メタデータ） (2021-08-25T21:30:27Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients [19.772149500352945]
下界の最大化によるモデルパラメータの近似的最大度学習は、スパース変分アプローチの利点の多くを保っていることを示す。実験では、他の共役グラデーションベースのアプローチと比較して、トレーニング時間の同等の量のためのモデルで予測性能の改善を示します。
論文参考訳（メタデータ） (2021-02-16T17:54:59Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling [0.0]
ベイズ推論に基づくマルチレベルモンテカルロ法(MLMC)の最適化手法を提案する。計算結果から,従来の推定値と比較すると,かなりの計算量の削減が確認できた。
論文参考訳（メタデータ） (2020-01-14T09:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。