論文の概要: Non-reversible Parallel Tempering for Deep Posterior Approximation

• arxiv url: http://arxiv.org/abs/2211.10837v1
• Date: Sun, 20 Nov 2022 01:18:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 23:06:03.245826
• Title: Non-reversible Parallel Tempering for Deep Posterior Approximation
• Title（参考訳）: 奥行き近似に対する非可逆並列テンパリング
• Authors: Wei Deng, Qian Zhang, Qi Feng, Faming Liang, Guang Lin
• Abstract要約: 並列テンパリング(英: Parallel tempering、PT)は、マルチモーダル分布のシミュレーションのためのゴートワークホースである。 一般的な決定論的偶律(DEO)スキームは、非可逆性を利用して通信コストを$O(P2)$から$O(P)$に下げることに成功した。 我々は、非可逆性を促進するためのDECスキームを一般化し、幾何学的停止時間に起因するバイアスに対処するためのいくつかの解決策を提案する。
• 参考スコア（独自算出の注目度）: 26.431541203372113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parallel tempering (PT), also known as replica exchange, is the go-to workhorse for simulations of multi-modal distributions. The key to the success of PT is to adopt efficient swap schemes. The popular deterministic even-odd (DEO) scheme exploits the non-reversibility property and has successfully reduced the communication cost from $O(P^2)$ to $O(P)$ given sufficiently many $P$ chains. However, such an innovation largely disappears in big data due to the limited chains and few bias-corrected swaps. To handle this issue, we generalize the DEO scheme to promote non-reversibility and propose a few solutions to tackle the underlying bias caused by the geometric stopping time. Notably, in big data scenarios, we obtain an appealing communication cost $O(P\log P)$ based on the optimal window size. In addition, we also adopt stochastic gradient descent (SGD) with large and constant learning rates as exploration kernels. Such a user-friendly nature enables us to conduct approximation tasks for complex posteriors without much tuning costs.
• Abstract（参考訳）: parallel tempering (pt) はレプリカ交換としても知られ、マルチモーダル分布のシミュレーションのためのワークホースである。 PTの成功の鍵は、効率的なスワップ方式を採用することである。 一般的な決定論的偶律(DEO)スキームは、非可逆性を利用して通信コストを$O(P^2)$から$O(P)$に下げることに成功した。 しかし、このようなイノベーションは、限定的なチェーンとバイアス修正されたスワップがほとんどないため、ビッグデータでほとんど消えてしまう。 この問題に対処するため,非可逆性を促進するためのDEOスキームを一般化し,幾何学的停止時間に起因するバイアスに対処するためのいくつかの解を提案する。 特に,ビッグデータのシナリオでは,最適なウィンドウサイズに基づいて通信コストを$O(P\log P)$とする。 また,探索カーネルとして,大規模かつ定常的な学習率を持つ確率勾配降下(SGD)も採用している。 このようなユーザフレンドリーな性質により、複雑な後方の近似タスクを、多くのチューニングコストなしで実行することができる。

関連論文リスト

• Network reconstruction via the minimum description length principle [0.0]
  階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。 提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。 提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
  論文  参考訳（メタデータ） (2024-05-02T05:35:09Z)
• Scalable 3D Registration via Truncated Entry-wise Absolute Residuals [65.04922801371363]
  3ドルの登録アプローチでは、1000万ドル(107ドル)以上のポイントペアを、99%以上のランダムなアウトレイアで処理することができる。 我々はこの手法をTEARと呼び、Trncated Entry-wise Absolute Residualsを演算するoutlier-robust損失を最小限にする。
  論文  参考訳（メタデータ） (2024-04-01T04:43:39Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Resampling Stochastic Gradient Descent Cheaply for Efficient Uncertainty Quantification [6.832893024035705]
  本稿では,SGDソリューションの信頼性区間を構築するために,計算的に安価に再サンプリングする2つの手法について検討する。 データのリサンプリングと置換によって複数のSGDを並行して使用するものもあれば、オンライン形式で運用するものもある。
  論文  参考訳（メタデータ） (2023-10-17T08:18:10Z)
• Differentiating Through Integer Linear Programs with Quadratic Regularization and Davis-Yin Splitting [5.199570417938866]
  問題となるのがリニアプログラム(ILP)である場合について検討する。 結果のスキームが最近導入されたヤコビ自由バックプロパゲーション(JFB)と互換性があることを証明する。 提案手法は, 最短経路問題とクナップサック問題という2つの代表的なICPに対する実験により, 前方パス上のこの組み合わせDYS, 後方パス上のJFBが, 既存のスキームよりも高次元問題に対してより効果的にスケールするスキームを示す。
  論文  参考訳（メタデータ） (2023-01-31T04:03:28Z)
• Scaling up Stochastic Gradient Descent for Non-convex Optimisation [5.908471365011942]
  本稿では,共有並列計算問題に対する新しいアプローチを提案する。 2つの戦略を統一されたフレームワークに組み合わせることで、DPSGDはより良い取引計算フレームワークになります。 深層学習(DRL)問題と深層学習(DRL)問題(アドバンテージアクター - A2C)についてDPSGDにより潜在ゲインを達成できる。
  論文  参考訳（メタデータ） (2022-10-06T13:06:08Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。