論文の概要: Sampling in Constrained Domains with Orthogonal-Space Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2210.06447v1
• Date: Wed, 12 Oct 2022 17:51:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:07:43.177086
• Title: Sampling in Constrained Domains with Orthogonal-Space Variational Gradient Descent
• Title（参考訳）: 直交空間変動勾配勾配をもつ拘束領域におけるサンプリング
• Authors: Ruqi Zhang, Qiang Liu, Xin T. Tong
• Abstract要約: 多様体上のサンプリングのための直交空間勾配流(O-Gradient)を設計した新しい変分フレームワークを提案する。 我々は、O-Gradient が目標制約分布に収束し、弱条件下では、$widetildeO (1/textthe number of iterations)$$で収束することを証明した。
• 参考スコア（独自算出の注目度）: 13.724361914659438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling methods, as important inference and learning techniques, are typically designed for unconstrained domains. However, constraints are ubiquitous in machine learning problems, such as those on safety, fairness, robustness, and many other properties that must be satisfied to apply sampling results in real-life applications. Enforcing these constraints often leads to implicitly-defined manifolds, making efficient sampling with constraints very challenging. In this paper, we propose a new variational framework with a designed orthogonal-space gradient flow (O-Gradient) for sampling on a manifold $\mathcal{G}_0$ defined by general equality constraints. O-Gradient decomposes the gradient into two parts: one decreases the distance to $\mathcal{G}_0$ and the other decreases the KL divergence in the orthogonal space. While most existing manifold sampling methods require initialization on $\mathcal{G}_0$, O-Gradient does not require such prior knowledge. We prove that O-Gradient converges to the target constrained distribution with rate $\widetilde{O}(1/\text{the number of iterations})$ under mild conditions. Our proof relies on a new Stein characterization of conditional measure which could be of independent interest. We implement O-Gradient through both Langevin dynamics and Stein variational gradient descent and demonstrate its effectiveness in various experiments, including Bayesian deep neural networks.
• Abstract（参考訳）: 重要な推論と学習技術としてサンプリング方法は、通常、制約のないドメインのために設計される。 しかし、安全性、公正性、ロバスト性などの機械学習問題や、実際のアプリケーションにサンプリング結果を適用するために満たさなければならない多くの特性に制約がある。 これらの制約を強制することはしばしば暗黙的に定義された多様体につながり、制約のある効率的なサンプリングを非常に困難にする。 本稿では,一般等式制約により定義される多様体$\mathcal{G}_0$上でのサンプリングのための直交空間勾配流(O-Gradient)を設計した新しい変分フレームワークを提案する。 O-グラディエントは勾配を2つの部分に分解する: 1つは距離を$\mathcal{G}_0$に減らし、もう1つは直交空間におけるKLの発散を減少させる。 ほとんどの既存の多様体サンプリング法は $\mathcal{G}_0$ で初期化を必要とするが、O-Gradient はそのような事前知識を必要としない。 我々は、O-グラディエントが目標の制約分布に収束し、弱条件下で$$\widetilde{O}(1/\text{the number of iterations})$とすることを示す。 我々の証明は、独立興味を持つ条件付測度の新しいスタイン特徴づけに依存している。 我々は,LangevinのダイナミクスとStein変分勾配勾配によるO-Gradientを実装し,ベイジアンディープニューラルネットワークを含む様々な実験でその効果を実証した。

関連論文リスト

• Functional Gradient Flows for Constrained Sampling [29.631753643887237]
  本稿では,制約付き関数勾配流(CFG)と呼ばれる,制約付きサンプリングのための新しい関数勾配ParVI法を提案する。 また、領域制約から生じる境界積分項を扱うための新しい数値戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T16:20:48Z)
• Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
  ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。 これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。 本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T09:47:29Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping [6.234350105794441]
  勾配推定はしばしば、離散潜在変数を持つ生成モデルに適合するために必要である。 DisARMや他の推定器は、パラメータ空間の境界付近でばらつきを爆発させる可能性がある。 パラメータ空間の境界における分散を小さくする勾配推定器 textitbitflip-1 を提案する。
  論文  参考訳（メタデータ） (2022-08-12T05:37:52Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Inexact and Stochastic Generalized Conditional Gradient with Augmented Lagrangian and Proximal Step [2.0196229393131726]
  我々は著者の以前の論文で開発されたCGALPアルゴリズムの不正確さとバージョンを分析した。 これにより、いくつかの勾配、項、および/または線形最小化オラクルを不正確な方法で計算することができる。 ラグランジアンのアフィン制約の最適性と実現可能性への収束を示す。
  論文  参考訳（メタデータ） (2020-05-11T14:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。