論文の概要: Discrete Langevin Sampler via Wasserstein Gradient Flow

• arxiv url: http://arxiv.org/abs/2206.14897v1
• Date: Wed, 29 Jun 2022 20:33:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 14:41:57.072438
• Title: Discrete Langevin Sampler via Wasserstein Gradient Flow
• Title（参考訳）: ワッサーシュタイン勾配流による離散ランゲヴィンサンプリング器
• Authors: Haoran Sun, Hanjun Dai, Bo Dai, Haomin Zhou, Dale Schuurmans
• Abstract要約: 離散空間におけるワッサーシュタイン勾配流に対応する LB 関数がどのように LB 力学をもたらすかを示す。 シミュレーション時間に関してLBダイナミクスを識別し,新しいアルゴリズムであるLocally Balanced Jump (LBJ)を提案する。
• 参考スコア（独自算出の注目度）: 102.94731267405056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a family of locally balanced (LB) samplers has demonstrated excellent performance at sampling and learning energy-based models (EBMs) in discrete spaces. However, the theoretical understanding of this success is limited. In this work, we show how LB functions give rise to LB dynamics corresponding to Wasserstein gradient flow in a discrete space. From first principles, previous LB samplers can then be seen as discretizations of the LB dynamics with respect to Hamming distance. Based on this observation, we propose a new algorithm, the Locally Balanced Jump (LBJ), by discretizing the LB dynamics with respect to simulation time. As a result, LBJ has a location-dependent "velocity" that allows it to make proposals with larger distances. Additionally, LBJ decouples each dimension into independent sub-processes, enabling convenient parallel implementation. We demonstrate the advantages of LBJ for sampling and learning in various binary and categorical distributions.
• Abstract（参考訳）: 近年, 局所平衡型(LB)サンプリング器群は, 離散空間におけるエネルギーベースモデル(EBM)のサンプリングおよび学習において優れた性能を示した。 しかし、この成功の理論的理解は限られている。 本研究では、離散空間におけるワッサーシュタイン勾配流に対応するLB関数がどのようにしてLBダイナミクスをもたらすかを示す。 最初の原理から、以前のLBサンプリングはハミング距離に関してLB力学の離散化と見なすことができる。 この観察に基づいて,シミュレーション時間に関してlbダイナミクスを離散化することにより,局所バランスジャンプ(lbj)という新しいアルゴリズムを提案する。 その結果、LBJは位置に依存した「速度」を持ち、より広い距離で提案を行うことができる。 さらに、LBJは各次元を独立したサブプロセスに分離し、便利な並列実装を可能にする。 種々の二分分布および分類分布のサンプリングと学習におけるLBJの利点を示す。

関連論文リスト

• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• Density estimation with LLMs: a geometric investigation of in-context learning trajectories [3.281128493853064]
  大規模言語モデル(LLM)は、様々なタスクでコンテキスト内学習を行う際、顕著な創発的能力を示す。 本研究は,LLMがコンテキスト内で観測されたデータから確率密度関数を推定する能力について検討する。 我々は、集中主成分分析(Intensive principal Component Analysis, InPCA)を活用し、LLaMA-2モデルのコンテキスト内学習ダイナミクスを可視化および解析する。
  論文  参考訳（メタデータ） (2024-10-07T17:22:56Z)
• Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
  本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。 トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。 双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
  論文  参考訳（メタデータ） (2024-10-05T02:58:25Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• The Adjoint Is All You Need: Characterizing Barren Plateaus in Quantum Ans\"atze [3.2773906224402802]
  可観測がリー環(DLA)に存在するパラメタライズド量子回路に対するバレンプラトーの理論を定式化する。 我々の理論は初めて、量子化合物アンザッツの勾配コスト関数の分散の分散を計算する能力を提供する。
  論文  参考訳（メタデータ） (2023-09-14T17:50:04Z)
• Wigner's Phase Space Current for Variable Beam Splitters -Seeing Beam Splitters in a New Light- [0.0]
  We study the behavior of variable beam splitter and their dynamics using Wigner's phase space distribution, W。 我々は、対応するウィグナー電流であるJの形状を、互いに追跡した後の各アウトゴーイングモードから導出する。 それぞれのウィグナー分布とウィグナー電流を用いて各モードが相互に与える影響を解析・可視化する。
  論文  参考訳（メタデータ） (2023-08-13T07:50:32Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• The Boomerang Sampler [4.588028371034406]
  本稿では, 連続時間非可逆マルコフ連鎖モンテカルロアルゴリズムの新たなクラスとして, ブーメラン・サンプラーを導入する。 提案手法は実装が容易であることを実証し,既存のベンチマークを断片的決定論的マルコフプロセスより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-24T14:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。