論文の概要: On the R\'{e}nyi Cross-Entropy
- arxiv url: http://arxiv.org/abs/2206.14329v1
- Date: Tue, 28 Jun 2022 23:48:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 05:46:43.587624
- Title: On the R\'{e}nyi Cross-Entropy
- Title(参考訳): R'{e}nyiクロスエントロピーについて
- Authors: Ferenc Cole Thierrin, Fady Alajaji, Tam\'as Linder
- Abstract要約: 2つの分布間のR'enyiクロスエントロピー測度は、最近、生成的対向ネットワークの設計改善のための損失関数として使用された。
本研究では,この測度の性質について検討し,その分布の一方が固定されたときと,双方の分布が指数族に属するときの閉形式式を導出する。
- 参考スコア(独自算出の注目度): 5.886986014593718
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The R\'{e}nyi cross-entropy measure between two distributions, a
generalization of the Shannon cross-entropy, was recently used as a loss
function for the improved design of deep learning generative adversarial
networks. In this work, we examine the properties of this measure and derive
closed-form expressions for it when one of the distributions is fixed and when
both distributions belong to the exponential family. We also analytically
determine a formula for the cross-entropy rate for stationary Gaussian
processes and for finite-alphabet Markov sources.
- Abstract(参考訳): 2つの分布間のr\'{e}nyiクロスエントロピー測度(シャノンクロスエントロピーの一般化)は、ディープラーニング生成逆ネットワークの設計を改善するための損失関数として最近用いられた。
本研究では,この測度の性質を考察し,分布の1つが固定され,両分布が指数関数族に属する場合の閉形式表現を導出する。
また、定常ガウス過程および有限アルファベットマルコフ源に対するクロスエントロピー率の式を解析的に決定する。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Radiative transport in a periodic structure with band crossings [52.24960876753079]
任意の空間次元におけるシュリンガー方程式の半古典モデル(英語版)を導出する。
決定論的シナリオとランダムシナリオの両方を考慮する。
特定の応用として、ランダムなグラフェン中のウェーブパケットの有効ダイナミクスを導出する。
論文 参考訳(メタデータ) (2024-02-09T23:34:32Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳(メタデータ) (2022-02-02T20:11:33Z) - Learn Quasi-stationary Distributions of Finite State Markov Chain [2.780408966503282]
準定常分布の表現を計算するための強化学習(RL)手法を提案する。
候補分布と真の目標分布によって誘導される2つのマルコフ経路分布のKL偏差を最小化する。
対応する政策勾配定理を導出し,最適な解法と値関数を学習するためのアクター・クリティカルなアルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-11-19T02:56:34Z) - Stationary Density Estimation of It\^o Diffusions Using Deep Learning [6.8342505943533345]
離散時間系列からのエルゴード的伊藤拡散の定常測度に関連する密度推定問題を考察する。
我々は深層ニューラルネットワークを用いてSDEのドリフトと拡散の項を近似する。
我々は、適切な数学的仮定の下で提案されたスキームの収束を確立する。
論文 参考訳(メタデータ) (2021-09-09T01:57:14Z) - Distributional Reinforcement Learning with Unconstrained Monotonic
Neural Networks [7.907645828535088]
本稿では,ランダムリターン分布の異なる表現を学習するための方法論を提案する。
制約のない単調深Q-network (UMDQN) と呼ばれる新しい分布RLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-06T20:03:50Z) - Abstraction-Guided Truncations for Stationary Distributions of Markov
Population Models [0.9558392439655015]
グリッド構造における状態のアグリゲーションである状態空間ラッピングスキームを用いるトラニケーションに基づく近似を提案する。
複雑な定常挙動を持つ非線形問題に対して,本手法の適用性を示す。
論文 参考訳(メタデータ) (2021-05-03T08:53:36Z) - Determination of the critical exponents in dissipative phase
transitions: Coherent anomaly approach [51.819912248960804]
オープン量子多体系の定常状態に存在する相転移の臨界指数を抽出するコヒーレント異常法の一般化を提案する。
論文 参考訳(メタデータ) (2021-03-12T13:16:18Z) - Profile Entropy: A Fundamental Measure for the Learnability and
Compressibility of Discrete Distributions [63.60499266361255]
離散分布のサンプルに対して、プロファイルエントロピーは推定、推論、圧縮の概念を統一する基本的な尺度であることを示す。
具体的には、プロファイルエントロピー a) は、最適自然推定器に対する分布を推定する速度を決定する; b) 任意のラベル不変分布コレクションに対する最適推定器と比較して全ての対称特性を推定する速度を特徴付ける; c) プロファイル圧縮の限界として機能する。
論文 参考訳(メタデータ) (2020-02-26T17:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。