論文の概要: Provable Accuracy Bounds for Hybrid Dynamical Optimization and Sampling

• arxiv url: http://arxiv.org/abs/2410.06397v1
• Date: Tue, 8 Oct 2024 22:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:59:12.505366
• Title: Provable Accuracy Bounds for Hybrid Dynamical Optimization and Sampling
• Title（参考訳）: ハイブリッド動的最適化とサンプリングのための確率的精度境界
• Authors: Matthew X. Burns, Qingyuan Hou, Michael C. Huang,
• Abstract要約: 本稿では,Langevin Diffusion (BLD) アルゴリズムをブロックすることにより,ハイブリッド LNLS の非漸近収束を保証する。 デバイスの変化が有限であれば、ステップ時間、雑音強度、関数パラメータの2-ワッサーシュタインバイアスに明確な境界を与える。
• 参考スコア（独自算出の注目度）: 1.5551894637785635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analog dynamical accelerators (DXs) are a growing sub-field in computer architecture research, offering order-of-magnitude gains in power efficiency and latency over traditional digital methods in several machine learning, optimization, and sampling tasks. However, limited-capacity accelerators require hybrid analog/digital algorithms to solve real-world problems, commonly using large-neighborhood local search (LNLS) frameworks. Unlike fully digital algorithms, hybrid LNLS has no non-asymptotic convergence guarantees and no principled hyperparameter selection schemes, particularly limiting cross-device training and inference. In this work, we provide non-asymptotic convergence guarantees for hybrid LNLS by reducing to block Langevin Diffusion (BLD) algorithms. Adapting tools from classical sampling theory, we prove exponential KL-divergence convergence for randomized and cyclic block selection strategies using ideal DXs. With finite device variation, we provide explicit bounds on the 2-Wasserstein bias in terms of step duration, noise strength, and function parameters. Our BLD model provides a key link between established theory and novel computing platforms, and our theoretical results provide a closed-form expression linking device variation, algorithm hyperparameters, and performance.
• Abstract（参考訳）: アナログ動的加速器(Analog dynamical accelerators, DXs)は、コンピュータアーキテクチャの研究において、いくつかの機械学習、最適化、サンプリングタスクにおいて、従来のデジタルメソッドよりも電力効率と遅延のオーダー・オブ・マグニチュード向上を提供するサブフィールドとして成長している。 しかし、リミテッド・キャパシティ・アクセラレーターは実世界の問題を解決するためにハイブリッドアナログ/デジタルアルゴリズムを必要とする。 完全なデジタルアルゴリズムとは異なり、ハイブリッドLNLSは非漸近収束保証を持たず、特にデバイス間のトレーニングと推論を制限するような、原則化されたハイパーパラメータ選択スキームも持っていない。 本研究では,Langevin Diffusion (BLD) アルゴリズムをブロックすることにより,ハイブリッド LNLS の漸近収束を保証する。 古典的サンプリング理論からツールを適用することで、理想的DXを用いたランダム化および循環的ブロック選択戦略に対する指数的KL偏差収束を証明できる。 デバイスの変化が有限であれば、ステップ時間、雑音強度、関数パラメータの2-ワッサーシュタインバイアスに明確な境界を与える。 我々のBLDモデルは、確立された理論と新しい計算プラットフォームとの間の重要なリンクを提供し、我々の理論結果は、デバイスの変化、アルゴリズムのハイパーパラメータ、パフォーマンスのクローズドフォーム表現を提供する。

関連論文リスト

• Hyperparameter Estimation for Sparse Bayesian Learning Models [1.0172874946490507]
  Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。 本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。 信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2024-01-04T21:24:01Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• Blending Neural Operators and Relaxation Methods in PDE Numerical Solvers [3.2712166248850685]
  HINTSは偏微分方程式のハイブリッド、反復、数値、移乗可能な解法である。 DeepONetのスペクトルバイアスを利用して固有モードのスペクトル間の収束挙動のバランスをとる。 離散化、計算領域、境界条件に関して柔軟である。
  論文  参考訳（メタデータ） (2022-08-28T19:07:54Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• GeneCAI: Genetic Evolution for Acquiring Compact AI [36.04715576228068]
  ディープニューラルネットワーク(DNN)は、より高い推論精度を達成するために、より複雑なアーキテクチャへと進化している。 モデル圧縮技術は、リソース制限されたモバイルデバイスにそのような計算集約的なアーキテクチャを効率的に展開するために利用することができる。 本稿では,階層ごとの圧縮ハイパーパラメータのチューニング方法を自動的に学習する新しい最適化手法であるGeneCAIを紹介する。
  論文  参考訳（メタデータ） (2020-04-08T20:56:37Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。