論文の概要: On The Statistical Representation Properties Of The Perturb-Softmax And The Perturb-Argmax Probability Distributions
- arxiv url: http://arxiv.org/abs/2406.02180v1
- Date: Tue, 4 Jun 2024 10:22:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 16:51:53.714743
- Title: On The Statistical Representation Properties Of The Perturb-Softmax And The Perturb-Argmax Probability Distributions
- Title（参考訳）: パーターブ・ソフトマックスの統計的表現特性とパーターブ・アーグマックス確率分布について
- Authors: Hedda Cohen Indelman, Tamir Hazan,
- Abstract要約: Gumbel-Softmax と Gumbel-Argmax の確率分布は、識別学習における離散構造学習に有用である。
これらの確率モデルの最適化に費やした努力にもかかわらず、それらの統計的性質は未探索である。
それらの表現特性について検討し、これらの確率分布が完成するパラメータの族を決定する。
これらの仮定を満たすパラメータの集合を2つ同定することで解析を終了し、完全かつ最小限の表現を許容する。
- 参考スコア（独自算出の注目度）: 17.720298535412443
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Gumbel-Softmax probability distribution allows learning discrete tokens in generative learning, while the Gumbel-Argmax probability distribution is useful in learning discrete structures in discriminative learning. Despite the efforts invested in optimizing these probability models, their statistical properties are under-explored. In this work, we investigate their representation properties and determine for which families of parameters these probability distributions are complete, i.e., can represent any probability distribution, and minimal, i.e., can represent a probability distribution uniquely. We rely on convexity and differentiability to determine these statistical conditions and extend this framework to general probability models, such as Gaussian-Softmax and Gaussian-Argmax. We experimentally validate the qualities of these extensions, which enjoy a faster convergence rate. We conclude the analysis by identifying two sets of parameters that satisfy these assumptions and thus admit a complete and minimal representation. Our contribution is theoretical with supporting practical evaluation.
- Abstract（参考訳）: Gumbel-Softmax確率分布は生成学習における離散トークンの学習を可能にし、Gumbel-Argmax確率分布は識別学習における離散構造の学習に有用である。
これらの確率モデルの最適化に費やした努力にもかかわらず、それらの統計的性質は未探索である。
本研究では、それらの表現特性を調査し、これらの確率分布のどの族が完備であるか、すなわち任意の確率分布を表現でき、最小限、すなわち確率分布を一意に表すことができるかを決定する。
我々は、これらの統計条件を決定するために凸性と微分可能性に依存し、この枠組みをガウス・ソフトマックスやガウス・アルグマックスのような一般的な確率モデルに拡張する。
これらの拡張の質を実験的に検証し、より高速な収束率を享受する。
これらの仮定を満たすパラメータの集合を2つ同定することで解析を終了し、完全かつ最小限の表現を許容する。
私たちの貢献は、実践的な評価を支持することによって理論的に成り立っている。
関連論文リスト
- A Likelihood Based Approach to Distribution Regression Using Conditional Deep Generative Models [6.647819824559201]
本研究では,条件付き深部生成モデルの推定のための可能性に基づくアプローチの大規模サンプル特性について検討する。
その結果,条件分布を推定するための最大極大推定器の収束率を導いた。
論文 参考訳（メタデータ） (2024-10-02T20:46:21Z) - Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。
我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。
また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
論文 参考訳（メタデータ） (2023-07-31T06:11:57Z) - A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
本稿では,確率変数の尾を解析するための体系的アプローチを提案する。
本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。
実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
論文 参考訳（メタデータ） (2023-06-15T16:37:36Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。
変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2022-04-20T21:25:21Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳（メタデータ） (2022-04-02T06:32:19Z) - Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。
正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。
単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
論文 参考訳（メタデータ） (2022-03-29T12:34:43Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。