論文の概要: Constrained Exploration via Reflected Replica Exchange Stochastic Gradient Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2405.07839v2
• Date: Mon, 3 Jun 2024 13:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 14:48:46.201366
• Title: Constrained Exploration via Reflected Replica Exchange Stochastic Gradient Langevin Dynamics
• Title（参考訳）: リフレクテッドレプリカ交換確率勾配ランゲバンダイナミクスによる制約付き探査
• Authors: Haoyang Zheng, Hengrong Du, Qi Feng, Wei Deng, Guang Lin,
• Abstract要約: ReSGLDは、大規模データセットの非二乗学習タスクに有効なツールである。 制約付きマルチモーダル分布と画像分類におけるシミュレーション効率の役割について検討する。
• 参考スコア（独自算出の注目度）: 10.290462113848054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Replica exchange stochastic gradient Langevin dynamics (reSGLD) is an effective sampler for non-convex learning in large-scale datasets. However, the simulation may encounter stagnation issues when the high-temperature chain delves too deeply into the distribution tails. To tackle this issue, we propose reflected reSGLD (r2SGLD): an algorithm tailored for constrained non-convex exploration by utilizing reflection steps within a bounded domain. Theoretically, we observe that reducing the diameter of the domain enhances mixing rates, exhibiting a $\textit{quadratic}$ behavior. Empirically, we test its performance through extensive experiments, including identifying dynamical systems with physical constraints, simulations of constrained multi-modal distributions, and image classification tasks. The theoretical and empirical findings highlight the crucial role of constrained exploration in improving the simulation efficiency.
• Abstract（参考訳）: Replica exchange stochastic gradient Langevin dynamics (reSGLD)は、大規模データセットにおける非凸学習に有効なサンプルである。 しかし、高温チェーンが分布尾に深く入り込むと、シミュレーションは停滞する問題に遭遇する可能性がある。 この問題を解決するために,制約付き非凸探索に適したreSGLD(r2SGLD)を提案する。 理論的には、領域の直径を減らすことは混合率を高め、$\textit{quadratic}$振舞いを示す。 実験では,物理制約による動的システム同定,制約付きマルチモーダル分布のシミュレーション,画像分類タスクなど,広範囲な実験によってその性能を検証した。 理論的および実証的な知見は、シミュレーション効率を改善する上での制約された探索の重要な役割を浮き彫りにした。

関連論文リスト

• Online Non-Stationary Stochastic Quasar-Convex Optimization [1.9244735303181755]
  近年の研究では、線形系やロジスティック系の同定などの応用において、クエーサー活性化関数が見つかることが示されている。 動的環境におけるクエーサーにインスパイアされた設計問題を利用するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-04T03:24:27Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Tipping Points of Evolving Epidemiological Networks: Machine Learning-Assisted, Data-Driven Effective Modeling [0.0]
  適応型感受性感染症(SIS)疫学ネットワークのチップポイント集団動態を,データ駆動型機械学習支援方式で検討した。 複素実効微分方程式(eSDE)を物理的に有意な粗い平均場変数で同定する。 本研究では, 頻繁な現象の統計を, 繰り返しブルート力シミュレーションと, 確立された数学的・計算ツールを用いて研究する。
  論文  参考訳（メタデータ） (2023-11-01T19:33:03Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Neural Posterior Estimation with Differentiable Simulators [58.720142291102135]
  微分可能シミュレータを用いてニューラル・ポストミラー推定(NPE)を行う新しい手法を提案する。 勾配情報が後部形状の制約にどのように役立ち、試料効率を向上させるかを示す。
  論文  参考訳（メタデータ） (2022-07-12T16:08:04Z)
• Provable RL with Exogenous Distractors via Multistep Inverse Dynamics [85.52408288789164]
  実世界の強化学習(RL)の応用は、メガピクセルカメラから生成されたような高次元の観察にエージェントが対処する必要がある。 従来の研究は表現学習でこのような問題に対処しており、エージェントは生の観察から内因性、潜伏状態の情報を確実に抽出することができる。 しかし、このような手法は観測において時間的に相関するノイズの存在下では失敗する可能性がある。
  論文  参考訳（メタデータ） (2021-10-17T15:21:27Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Dynamic Mode Decomposition in Adaptive Mesh Refinement and Coarsening Simulations [58.720142291102135]
  動的モード分解(DMD)はコヒーレントなスキームを抽出する強力なデータ駆動方式である。 本稿では,異なるメッシュトポロジと次元の観測からDMDを抽出する戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-28T22:14:25Z)
• Self-Regression Learning for Blind Hyperspectral Image Fusion Without Label [11.291055330647977]
  ハイパースペクトル画像(HSI)を再構築した自己回帰学習法を提案し,観察モデルを推定する。 特に,hsiを復元するinvertible neural network (inn) と,観測モデルを推定する2つの完全連結ネットワーク (fcn) を採用している。 我々のモデルは、合成データと実世界のデータセットの両方で実験で最先端の手法を上回ることができる。
  論文  参考訳（メタデータ） (2021-03-31T04:48:21Z)
• A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions [17.14287157979558]
  ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。 提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
  論文  参考訳（メタデータ） (2020-10-19T19:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。