論文の概要: Low-Variance Gradient Estimation in Unrolled Computation Graphs with ES-Single

• arxiv url: http://arxiv.org/abs/2304.11153v1
• Date: Fri, 21 Apr 2023 17:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 13:47:09.881354
• Title: Low-Variance Gradient Estimation in Unrolled Computation Graphs with ES-Single
• Title（参考訳）: ES-Singleを用いたアンロール計算グラフの低分散勾配推定
• Authors: Paul Vicol, Zico Kolter, Kevin Swersky
• Abstract要約: 本研究では,ES-Single と呼ばれる非ローリング計算グラフの勾配を推定するための進化戦略に基づくアルゴリズムを提案する。 ES-Singleは二次的内部問題に対して不偏性を示し、その分散が永続的進化戦略よりもかなり低いことを実証的に示す。
• 参考スコア（独自算出の注目度）: 17.564971543211417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an evolution strategies-based algorithm for estimating gradients in unrolled computation graphs, called ES-Single. Similarly to the recently-proposed Persistent Evolution Strategies (PES), ES-Single is unbiased, and overcomes chaos arising from recursive function applications by smoothing the meta-loss landscape. ES-Single samples a single perturbation per particle, that is kept fixed over the course of an inner problem (e.g., perturbations are not re-sampled for each partial unroll). Compared to PES, ES-Single is simpler to implement and has lower variance: the variance of ES-Single is constant with respect to the number of truncated unrolls, removing a key barrier in applying ES to long inner problems using short truncations. We show that ES-Single is unbiased for quadratic inner problems, and demonstrate empirically that its variance can be substantially lower than that of PES. ES-Single consistently outperforms PES on a variety of tasks, including a synthetic benchmark task, hyperparameter optimization, training recurrent neural networks, and training learned optimizers.
• Abstract（参考訳）: 我々は,es-singleと呼ばれる未ロール計算グラフの勾配を推定する進化戦略に基づくアルゴリズムを提案する。 最近発表された Persistent Evolution Strategies (PES) と同様に、ES-Single は不偏であり、メタロスの風景を滑らかにすることで再帰関数アプリケーションから生じるカオスを克服する。 ES-Singleは粒子ごとの単一摂動をサンプリングし、内部問題(例えば、各部分的アンロールに対して摂動は再サンプリングされない)の過程で固定される。 PES と比較して ES-Single は実装が簡単で分散が小さい: ES-Single の分散は truncated unroll の数に対して一定であり、ショート・トランニケーションを用いて長い内部問題に ES-Single を適用する際の重要な障壁を取り除く。 ES-Single は二次的内部問題に対して非バイアスであり、その分散が PES よりもかなり低いことを実証的に示す。 ES-Singleは、総合ベンチマークタスク、ハイパーパラメータ最適化、リカレントニューラルネットワークのトレーニング、学習されたオプティマイザなど、さまざまなタスクでPESを一貫して上回る。

関連論文リスト

• Enhancing Generalization of Universal Adversarial Perturbation through Gradient Aggregation [40.18851174642427]
  深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である 本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。 グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。 SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
  論文  参考訳（メタデータ） (2023-08-11T08:44:58Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies [44.61637636729407]
  我々は、グラフを一連の切り離されたアンロールに分割する永続進化戦略(PES)を導入し、各アンロール後の進化戦略に基づく更新ステップを実行する。 PESは、アンロールの全列に対して補正項を蓄積することで、トラルケーションからのバイアスを除去する。 PESは高速なパラメータ更新を可能にし、メモリ使用量が少なく、バイアスがなく、合理的な分散特性を持つ。
  論文  参考訳（メタデータ） (2021-12-27T18:54:36Z)
• COPS: Controlled Pruning Before Training Starts [68.8204255655161]
  最先端のディープニューラルネットワーク(DNN)プルーニング技術は、トレーニング開始前にワンショットで適用され、プルーニングスコアと呼ばれる単一の基準の助けを借りてスパースアーキテクチャを評価する。 この作業では、単一プルーニング基準に集中するのではなく、任意のGASを組み合わせてより強力なプルーニング戦略を構築するためのフレームワークを提供します。
  論文  参考訳（メタデータ） (2021-07-27T08:48:01Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic [5.395127324484869]
  SplitSGDは最適化のための新しい動的学習スケジュールである。 本手法は,対象関数の局所的幾何への適応性を向上するために学習率を低下させる。 基本的には標準のSGDよりも計算コストがかかるわけではない。
  論文  参考訳（メタデータ） (2019-10-18T19:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。