論文の概要: Entropic Herding
- arxiv url: http://arxiv.org/abs/2112.11616v2
- Date: Tue, 9 May 2023 02:41:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 16:53:21.394619
- Title: Entropic Herding
- Title（参考訳）: エントロピー・ハーディング
- Authors: Hiroshi Yamashita, Hideyuki Suzuki, and Kazuyuki Aihara
- Abstract要約: ハーディング(Herding)は、ランダムなサンプルと見なされるデータポイントを生成するために用いられる決定論的アルゴリズムである。
本稿では,点ではなく分布列を生成するエントロピック・ハーディング(entropic herding)と呼ばれるアルゴリズムの拡張を提案する。
- 参考スコア（独自算出の注目度）: 3.039568795810294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Herding is a deterministic algorithm used to generate data points that can be
regarded as random samples satisfying input moment conditions. The algorithm is
based on the complex behavior of a high-dimensional dynamical system and is
inspired by the maximum entropy principle of statistical inference. In this
paper, we propose an extension of the herding algorithm, called entropic
herding, which generates a sequence of distributions instead of points.
Entropic herding is derived as the optimization of the target function obtained
from the maximum entropy principle. Using the proposed entropic herding
algorithm as a framework, we discuss a closer connection between herding and
the maximum entropy principle. Specifically, we interpret the original herding
algorithm as a tractable version of entropic herding, the ideal output
distribution of which is mathematically represented. We further discuss how the
complex behavior of the herding algorithm contributes to optimization. We argue
that the proposed entropic herding algorithm extends the application of herding
to probabilistic modeling. In contrast to original herding, entropic herding
can generate a smooth distribution such that both efficient probability density
calculation and sample generation become possible. To demonstrate the viability
of these arguments in this study, numerical experiments were conducted,
including a comparison with other conventional methods, on both synthetic and
real data.
- Abstract（参考訳）: herdingは、入力モーメント条件を満たすランダムサンプルと見なされるデータポイントを生成する決定論的アルゴリズムである。
このアルゴリズムは、高次元力学系の複雑な挙動に基づいており、統計推論の最大エントロピー原理に触発されている。
本稿では,点ではなく分布列を生成するエントロピック・ハーディング(entropic herding)と呼ばれるアルゴリズムの拡張を提案する。
最大エントロピー原理から得られる対象関数の最適化としてエントロピーハーディングが導出される。
提案手法をフレームワークとして,提案手法と最大エントロピー原理との密接な関係を論じる。
具体的には,本アルゴリズムをエントロピック・ハーディングの抽出可能なバージョンと解釈し,その理想的な出力分布を数学的に表現する。
さらに,Herdingアルゴリズムの複雑な挙動が最適化にどう貢献するかを議論する。
提案手法は,確率的モデリングへの応用を拡張したものである。
オリジナルのハーディングとは対照的に、エントロピーシェディングは、効率的な確率密度計算とサンプル生成の両方が可能な滑らかな分布を生成することができる。
そこで本研究では,合成データと実データの両方について,従来の手法との比較を含む数値実験を行った。
関連論文リスト
- Gaussian Processes Sampling with Sparse Grids under Additive Schwarz Preconditioner [6.408773096179187]
本稿では,GPモデルの前と後をランダムに実現するためのスケーラブルなアルゴリズムを提案する。
提案アルゴリズムはスパースグリッドを用いた点近似と加法的シュワルツプレコンディショナーを利用する。
論文 参考訳（メタデータ） (2024-08-01T00:19:36Z) - Connection between single-layer Quantum Approximate Optimization
Algorithm interferometry and thermal distributions sampling [0.0]
固有状態の振幅と単層QAOAによって生成されるボルツマン分布の理論的導出を拡張する。
我々はまた、この行動が実践的および基本的視点の両方から持つ意味についてもレビューする。
論文 参考訳（メタデータ） (2023-10-13T15:06:58Z) - Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。
提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
論文 参考訳（メタデータ） (2023-07-19T10:26:29Z) - Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and
Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。
ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。
本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文 参考訳（メタデータ） (2023-06-21T17:03:22Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳（メタデータ） (2023-01-30T15:46:39Z) - An Algebraically Converging Stochastic Gradient Descent Algorithm for
Global Optimization [14.336473214524663]
アルゴリズムの主要な構成要素は、目的関数の値に基づくランダム性である。
アルゴリズムの収束を代数学で証明し、パラメータ空間でチューニングする。
アルゴリズムの効率性とロバスト性を示す数値的な例をいくつか提示する。
論文 参考訳（メタデータ） (2022-04-12T16:27:49Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳（メタデータ） (2020-06-11T19:40:38Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。