論文の概要: Biased Stochastic Gradient Descent for Conditional Stochastic
Optimization
- arxiv url: http://arxiv.org/abs/2002.10790v1
- Date: Tue, 25 Feb 2020 10:57:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 21:11:03.152615
- Title: Biased Stochastic Gradient Descent for Conditional Stochastic
Optimization
- Title(参考訳): 条件付き確率的最適化のためのバイアス付き確率勾配降下
- Authors: Yifan Hu, Siqi Zhang, Xin Chen, Niao He
- Abstract要約: 条件最適化(CSO)はメタラーニングや因果推論から不変学習まで様々な応用をカバーしている。
本稿では,BSGDアルゴリズムを提案し,異なる構造条件下でのバイアス分散トレードオフについて検討する。
- 参考スコア(独自算出の注目度): 26.067067973796767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional Stochastic Optimization (CSO) covers a variety of applications
ranging from meta-learning and causal inference to invariant learning. However,
constructing unbiased gradient estimates in CSO is challenging due to the
composition structure. As an alternative, we propose a biased stochastic
gradient descent (BSGD) algorithm and study the bias-variance tradeoff under
different structural assumptions. We establish the sample complexities of BSGD
for strongly convex, convex, and weakly convex objectives, under smooth and
non-smooth conditions. We also provide matching lower bounds of BSGD for convex
CSO objectives. Extensive numerical experiments are conducted to illustrate the
performance of BSGD on robust logistic regression, model-agnostic meta-learning
(MAML), and instrumental variable regression (IV).
- Abstract(参考訳): 条件確率最適化(CSO)はメタラーニングや因果推論から不変学習まで様々な応用をカバーしている。
しかし, 組成構造のため, CSOにおける非バイアス勾配推定の構成は困難である。
代替として、バイアス付き確率勾配勾配勾配(BSGD)アルゴリズムを提案し、異なる構造仮定の下でバイアス分散トレードオフを研究する。
我々は, 滑らかで非滑らかな条件下で, 強凸, 凸, 弱凸対象に対するBSGDの試料複合体を確立する。
また, 凸CSO目標に対するBSGDの下限の一致も提供する。
ロバストロジスティック回帰、モデル非依存メタラーニング(maml)、インストゥルメンタル変数回帰(iv)におけるbsgdの性能を示すために、広範な数値実験を行った。
関連論文リスト
- Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。
適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
論文 参考訳(メタデータ) (2024-02-05T10:17:36Z) - CoLiDE: Concomitant Linear DAG Estimation [12.415463205960156]
観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。
本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
論文 参考訳(メタデータ) (2023-10-04T15:32:27Z) - Stability and Generalization of Stochastic Compositional Gradient
Descent Algorithms [61.59448949684493]
学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。
SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。
SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
論文 参考訳(メタデータ) (2023-07-07T02:40:09Z) - Tuning Stochastic Gradient Algorithms for Statistical Inference via
Large-Sample Asymptotics [18.93569692490218]
勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。
固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。
我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
論文 参考訳(メタデータ) (2022-07-25T17:58:09Z) - ReCAB-VAE: Gumbel-Softmax Variational Inference Based on Analytic
Divergence [17.665255113864795]
緩和されたカテゴリー分布のクルバック・リーブラー発散(KLD)の上界に対応する新しい発散型計量について述べる。
また、連続表現と緩和表現の両方をうまくモデル化できる緩和された分類的有界変分オートエンコーダ(ReCAB-VAE)を提案する。
論文 参考訳(メタデータ) (2022-05-09T08:11:46Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳(メタデータ) (2021-12-06T03:35:21Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。
我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。
得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文 参考訳(メタデータ) (2020-11-03T09:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。