論文の概要: From Global to Local: A Scalable Benchmark for Local Posterior Sampling

• arxiv url: http://arxiv.org/abs/2507.21449v1
• Date: Tue, 29 Jul 2025 02:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.557636
• Title: From Global to Local: A Scalable Benchmark for Local Posterior Sampling
• Title（参考訳）: グローバルからローカルへ:ローカルな後方サンプリングのためのスケーラブルなベンチマーク
• Authors: Rohan Hitchcock, Jesse Hoogland,
• Abstract要約: 本稿では,SGMCMCアルゴリズムの局所サンプリング性能を評価するための新しいスケーラブルなベンチマークを提案する。 RMSProp-preconditioned SGLDは後方分布の局所幾何学を忠実に表すのに最も効果的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Degeneracy is an inherent feature of the loss landscape of neural networks, but it is not well understood how stochastic gradient MCMC (SGMCMC) algorithms interact with this degeneracy. In particular, current global convergence guarantees for common SGMCMC algorithms rely on assumptions which are likely incompatible with degenerate loss landscapes. In this paper, we argue that this gap requires a shift in focus from global to local posterior sampling, and, as a first step, we introduce a novel scalable benchmark for evaluating the local sampling performance of SGMCMC algorithms. We evaluate a number of common algorithms, and find that RMSProp-preconditioned SGLD is most effective at faithfully representing the local geometry of the posterior distribution. Although we lack theoretical guarantees about global sampler convergence, our empirical results show that we are able to extract non-trivial local information in models with up to O(100M) parameters.
• Abstract（参考訳）: デジェネリアシーは、ニューラルネットワークのロスランドスケープの固有の特徴であるが、確率勾配MCMC(SGMCMC)アルゴリズムがこのデジェネリアシーとどのように相互作用するかはよく理解されていない。 特に、一般的なSGMCMCアルゴリズムに対する現在のグローバル収束保証は、退化ロスランドスケープと互換性のない仮定に依存している。 本稿では,このギャップはグローバルから局所的なサンプリングに焦点を移す必要があり,その第一歩として,SGMCMCアルゴリズムの局所サンプリング性能を評価するための新しいスケーラブルなベンチマークを導入する。 RMSPropプレコンディショニングされたSGLDは, 後部分布の局所的幾何を忠実に表すのに最も有効であることがわかった。 大域的なサンプル収束に関する理論的保証はないが、実験の結果、O(100M)パラメータを持つモデルで非自明な局所情報を抽出できることが示されている。

関連論文リスト

• An Interpretable Implicit-Based Approach for Modeling Local Spatial Effects: A Case Study of Global Gross Primary Productivity [9.352810748734157]
  地球科学では、観測されていない要因は非定常分布を示し、特徴と対象の関係が空間的不均一性を示す。 地理的機械学習タスクでは、従来の統計学習手法は空間的不均一性を捉えるのに苦労することが多い。 我々は、深層ニューラルネットワークを用いた空間差と並行して、異なる場所で共通する特徴を同時にモデル化する、新しい視点を提案する。
  論文  参考訳（メタデータ） (2025-02-10T05:44:54Z)
• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Uncertainty Quantification using Generative Approach [4.4858968464373845]
  本稿では,深いニューラルネットワークにおける不確実性を測定するためのインクリメンタル生成モンテカルロ法を提案する。 IGMCは生成モデルを反復的に訓練し、その出力をデータセットに追加し、ランダム変数の期待の後方分布を計算する。 MNIST桁分類タスクにおけるIGMCの挙動を実証的に研究する。
  論文  参考訳（メタデータ） (2023-10-13T18:05:25Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization [64.39761523935613]
  本稿では,画像中の異常を同時検出・ローカライズするPatch Distribution Modeling, PaDiMを提案する。 PaDiMは、パッチの埋め込みに事前訓練された畳み込みニューラルネットワーク(CNN)を使用している。 また、CNNの異なるセマンティックレベル間の相関を利用して、異常のローカライズも改善している。
  論文  参考訳（メタデータ） (2020-11-17T17:29:18Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。