論文の概要: Efficient Learning of Generative Models via Finite-Difference Score Matching

• arxiv url: http://arxiv.org/abs/2007.03317v2
• Date: Wed, 25 Nov 2020 16:10:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 18:58:27.608992
• Title: Efficient Learning of Generative Models via Finite-Difference Score Matching
• Title（参考訳）: 差分スコアマッチングによる生成モデルの効率的な学習
• Authors: Tianyu Pang, Kun Xu, Chongxuan Li, Yang Song, Stefano Ermon, Jun Zhu
• Abstract要約: 有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
• 参考スコア（独自算出の注目度）: 111.55998083406134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several machine learning applications involve the optimization of higher-order derivatives (e.g., gradients of gradients) during training, which can be expensive in respect to memory and computation even with automatic differentiation. As a typical example in generative modeling, score matching (SM) involves the optimization of the trace of a Hessian. To improve computing efficiency, we rewrite the SM objective and its variants in terms of directional derivatives, and present a generic strategy to efficiently approximate any-order directional derivative with finite difference (FD). Our approximation only involves function evaluations, which can be executed in parallel, and no gradient computations. Thus, it reduces the total computational cost while also improving numerical stability. We provide two instantiations by reformulating variants of SM objectives into the FD forms. Empirically, we demonstrate that our methods produce results comparable to the gradient-based counterparts while being much more computationally efficient.
• Abstract（参考訳）: いくつかの機械学習アプリケーションは、トレーニング中に高階微分(例えば勾配勾配)を最適化することを含む。 生成モデリングの典型的な例として、スコアマッチング(SM)はヘッセンのトレースを最適化する。 計算効率を向上させるために,方向微分の観点からSM目標とその変種を書き換え,有限差分(FD)で任意の方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価のみを含み、並列に実行でき、勾配計算は行わない。 これにより、計算コストを削減し、数値安定性も向上する。 SM目的の変種をFD形式に書き換えることで2つのインスタンス化を行う。 実験により,本手法はより計算効率が高く,勾配に基づく結果に匹敵する結果が得られることを示した。

関連論文リスト

• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Efficient Training of Neural Stochastic Differential Equations by Matching Finite Dimensional Distributions [3.889230974713832]
  連続マルコフ過程を比較するための新しいスコアリングルールを開発する。 このスコアリングルールにより、シグネチャカーネルに関連する計算オーバーヘッドを回避できます。 計算効率と生成品質の両面において,FDMが既存の手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-04T23:26:38Z)
• DOF: Accelerating High-order Differential Operators with Forward Propagation [40.71528485918067]
  一般の2階微分演算子を精度を損なわずに計算するための効率的なフレームワークである差分演算子(DOF)を提案する。 我々は、効率が2倍改善され、どんなアーキテクチャでもメモリ消費が削減されたことを実証する。 実験結果から,本手法は従来の自動微分法(AutoDiff)よりも優れ,構造が2倍,空間が20倍近く向上していることがわかった。
  論文  参考訳（メタデータ） (2024-02-15T05:59:21Z)
• Efficient and Sound Differentiable Programming in a Functional Array-Processing Language [4.1779847272994495]
  自動微分 (AD) はプログラムで表される関数の微分を計算する手法である。 本稿では,高次関数型配列処理言語のためのADシステムを提案する。 フォワードモードADによる計算は、逆モードと同じくらい効率的に行うことができる。
  論文  参考訳（メタデータ） (2022-12-20T14:54:47Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Robust Regression via Model Based Methods [13.300549123177705]
  モデルベース最適化 (MBO) [35, 36] に着想を得たアルゴリズムを提案し, 非対象を凸モデル関数に置き換える。 これをロバスト回帰に適用し、MBOの内部最適化を解くために、オンライン乗算器のオンライン交互方向法(OOADM) [50] の関数 SADM を提案する。 最後に、(a)アウトレーヤに対するl_pノルムのロバスト性、(b)オートエンコーダ法とマルチターゲット回帰法と比較して、提案したモデルベースアルゴリズムの効率性を実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T21:45:35Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。