Fugu-MT 論文翻訳(概要): Stochastic Learning Equation using Monotone Increasing Resolution of Quantization

論文の概要: Stochastic Learning Equation using Monotone Increasing Resolution of Quantization

arxiv url: http://arxiv.org/abs/2112.13006v1
Date: Fri, 24 Dec 2021 09:36:50 GMT
ステータス: 処理完了
システム内更新日: 2021-12-28 14:44:51.894187
Title: Stochastic Learning Equation using Monotone Increasing Resolution of Quantization
Title（参考訳）: モノトーン増分量子化解を用いた確率学習方程式
Authors: Jinwuk Seok, Jeong-Si Kim
Abstract要約: 単調に量子化分解能が増大する学習方程式は分布の観点として弱く収束することを示す。本稿では,対象関数のヘシアン制約のような局所収束特性の代わりに,リプシッツ条件を満たす領域に対して,大域的最適化が可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose a quantized learning equation with a monotone increasing resolution of quantization and stochastic analysis for the proposed algorithm. According to the white noise hypothesis for the quantization error with dense and uniform distribution, we can regard the quantization error as i.i.d.\ white noise. Based on this, we show that the learning equation with monotonically increasing quantization resolution converges weakly as the distribution viewpoint. The analysis of this paper shows that global optimization is possible for a domain that satisfies the Lipschitz condition instead of local convergence properties such as the Hessian constraint of the objective function.
Abstract（参考訳）: 本稿では,提案アルゴリズムの量子化と確率解析の解法を単調に拡張した量子化学習方程式を提案する。密度分布と均一分布の量子化誤差に対するホワイトノイズ仮説によれば、量子化誤差をホワイトノイズとみなすことができる。このことから,単調に量子化分解能が増加する学習方程式は分布の観点として弱く収束することを示した。本稿では,対象関数のヘシアン制約のような局所収束特性の代わりに,リプシッツ条件を満たす領域に対して,大域的最適化が可能であることを示す。

関連論文リスト

Stochastic quantization and diffusion models [0.0]
本稿では,物理学における量子化と機械学習における拡散モデルとの関係について概説する。機械学習の応用においては、デノナイジング拡散モデルが成功技術として確立されている。本稿では,スコアベース生成モデルにおけるSDE手法について述べる。
論文参考訳（メタデータ） (2024-11-18T05:47:41Z)
Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem [0.0]
変分推論問題におけるエビデンス下界(ELBO)の勾配を近似する解析解を提案する。提案手法は線形計算複雑性とともに精度と収束率を示す。
論文参考訳（メタデータ） (2024-04-16T13:19:46Z)
Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文参考訳（メタデータ） (2023-08-28T23:51:33Z)
Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-11T15:20:54Z)
High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文参考訳（メタデータ） (2023-02-02T10:37:23Z)
Quantization-Based Optimization: Alternative Stochastic Approximation of Global Optimization [0.0]
NP-hard問題における目的関数のエネルギーレベルを定量化するための大域的最適化アルゴリズムを提案する。数値実験により,提案アルゴリズムはNP-ハード最適化問題の解法において従来の学習法よりも優れていた。
論文参考訳（メタデータ） (2022-11-08T03:01:45Z)
Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
論文参考訳（メタデータ） (2022-05-27T08:00:13Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文参考訳（メタデータ） (2021-10-07T17:51:10Z)
A Unified View of Stochastic Hamiltonian Sampling [18.300078015845262]
この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
論文参考訳（メタデータ） (2021-06-30T16:50:11Z)
Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。