論文の概要: Tuning-free coreset Markov chain Monte Carlo

• arxiv url: http://arxiv.org/abs/2410.18973v1
• Date: Thu, 24 Oct 2024 17:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:48:52.157345
• Title: Tuning-free coreset Markov chain Monte Carlo
• Title（参考訳）: チューニングなしコアセットマルコフ連鎖モンテカルロ
• Authors: Naitong Chen, Jonathan H. Huggins, Trevor Campbell,
• Abstract要約: ベイズコアセット(英: Bayesian coreset)は、計算コストを削減するために推論中に全データを置き換えるデータセットの小さな重み付きサブセットである。 Coreset Markov chain Monte Carlo (Coreset MCMC) はコアセットをターゲットとした適応的なMarkov chainからのドローを使用してコアセットの重みをトレーニングする。 学習速度のない勾配最適化手法であるHot-start Distance over Gradient (Hot DoG)を提案する。 実験の結果,Hot DoGは他の学習速度非依存の勾配法よりも高品質な後部近似が得られた。
• 参考スコア（独自算出の注目度）: 14.360996967498
• License:
• Abstract: A Bayesian coreset is a small, weighted subset of a data set that replaces the full data during inference to reduce computational cost. The state-of-the-art coreset construction algorithm, Coreset Markov chain Monte Carlo (Coreset MCMC), uses draws from an adaptive Markov chain targeting the coreset posterior to train the coreset weights via stochastic gradient optimization. However, the quality of the constructed coreset, and thus the quality of its posterior approximation, is sensitive to the stochastic optimization learning rate. In this work, we propose a learning-rate-free stochastic gradient optimization procedure, Hot-start Distance over Gradient (Hot DoG), for training coreset weights in Coreset MCMC without user tuning effort. Empirical results demonstrate that Hot DoG provides higher quality posterior approximations than other learning-rate-free stochastic gradient methods, and performs competitively to optimally-tuned ADAM.
• Abstract（参考訳）: ベイズコアセット(英: Bayesian coreset)は、計算コストを削減するために推論中に全データを置き換えるデータセットの小さな重み付きサブセットである。 最先端のコアセット構築アルゴリズムであるCoreset Markov chain Monte Carlo (Coreset MCMC)は、コアセット後部をターゲットとした適応マルコフ連鎖からのドローを使用して、確率的勾配最適化によってコアセット重みをトレーニングする。 しかし、構築されたコアセットの品質、したがって後部近似の品質は確率的最適化学習率に敏感である。 本研究では,Coreset MCMCのコアセット重みをユーザチューニングなしでトレーニングするための,学習速度のない確率勾配最適化手法であるHot-start Distance over Gradient (Hot DoG)を提案する。 実験により,Hot DoGは他の学習速度自由確率勾配法よりも高品質な後部近似を提供し,最適に調整されたADAMと競合することを示した。

関連論文リスト

• Gradient Normalization with(out) Clipping Ensures Convergence of Nonconvex SGD under Heavy-Tailed Noise with Improved Results [60.92029979853314]
  本稿では,NSGDCを含まない勾配正規化(NSGDC-VR)について検討する。 両アルゴリズムの理論的結果の大幅な改善について述べる。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Coreset Markov Chain Monte Carlo [15.310842498680483]
  コアセットの重みをチューニングするための最先端の手法は高価であり、非自明なユーザー入力を必要とし、モデルに制約を課す。 我々は,コアセットの重みを同時に更新しながら,コアセット後部を対象とするマルコフ連鎖をシミュレートする新しい手法,Coreset MCMCを提案する。
  論文  参考訳（メタデータ） (2023-10-25T23:53:27Z)
• CEM-GD: Cross-Entropy Method with Gradient Descent Planner for Model-Based Reinforcement Learning [41.233656743112185]
  クロスエントロピー法(CEM)と一階法を組み合わせた新しいプランナを提案する。 計画問題の次元性が増加するにつれて,CEM-GDは一定数のサンプルを用いて望ましい性能を維持していることを示す。
  論文  参考訳（メタデータ） (2021-12-14T21:11:27Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization [4.103281325880475]
  本稿では、中央コーディネータを使わずに、局所的な計算と通信によって、オンライン最適化問題を分散的に解決することを目的とした、計算機エージェントのネットワークを扱う。 本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。 マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-03T15:20:21Z)
• Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization [47.93365664380274]
  本稿では,新たに修正された構成勾配法(SCSC)を提案する。 SCSCは単一ループで単一時間スケールで動作し、固定バッチサイズを使用し、非合成最適化のための勾配降下法(SGD)と同じ速度で収束することを保証している。
  論文  参考訳（メタデータ） (2020-08-25T06:54:00Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。