論文の概要: On numerical issues of divergences between nearly equal distributions
- arxiv url: http://arxiv.org/abs/2611.18511v1
- Date: Fri, 13 Nov 2026 18:26:07 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:31.312595
- Title: On numerical issues of divergences between nearly equal distributions
- Title(参考訳): ほぼ等しい分布間の発散の数値問題について
- Abstract要約: 分類分布間の標準発散操作にも同様の問題が存在することを示す。
分布がほぼ等しい場合、ラウンドリングとキャンセルの問題は前方と勾配の計算に影響を及ぼす。
これらの問題は、知識の蒸留、強化学習、近位法などの最適化目的における相違点を用いた設定に影響を与える可能性がある。
- 参考スコア(独自算出の注目度): 12.633807327297191
- License:
- Abstract: Barron et al. (2026) recently identified numerical issues in the softmax and soft cross-entropy loss. We show that similar issues are present in standard divergence operations between categorical distributions. This includes the forward and reverse Kullback-Leibler (KL) divergence and generalized Jensen-Shannon divergence (JSD), as well as Monte Carlo KL estimates and entropy. When the distributions are nearly equal, rounding and cancellation issues affect the forward and gradient computations. These issues can affect settings using divergences in optimization objectives, such as knowledge distillation, reinforcement learning, and proximal methods. We propose numerically stable reformulations and provide example implementations for each setting, validated by property-based tests.
- Abstract(参考訳): Barron et al (2026) は、最近ソフトマックスとソフトクロスエントロピー損失の数値的な問題を発見した。
分類分布間の標準発散操作にも同様の問題が存在することを示す。
これには、KL(Kulback-Leibler)の偏差と一般化されたJensen-Shannon偏差(JSD)、モンテカルロKLの推定とエントロピーが含まれる。
分布がほぼ等しい場合、ラウンドリングとキャンセルの問題は前方と勾配の計算に影響を及ぼす。
これらの問題は、知識の蒸留、強化学習、近位法などの最適化目的における相違点を用いた設定に影響を与える可能性がある。
本稿では, 数値的に安定な修正手法を提案し, プロパティベーステストで検証した各設定のサンプル実装を提案する。
関連論文リスト
- A Splitting Method for SDE Terminal-Law Estimation [1.6440434996206623]
一定のシミュレーション予算が与えられた場合、効率を上げるための合理的な方法は、適切に分割された部分経路を通して経路のツリーを生成することである。
シミュレーション予算が無限に増加するにつれて,経験的分布の限界誤差を同定する。
平均誤差を10~25%改善した。
論文 参考訳(メタデータ) (2026-09-11T07:20:11Z) - Concave Statistical Utility Maximization Bandits via Influence-Function Gradients [45.88028371034407]
我々は,予想される報酬のみではなく,長期報酬分布の統計関数である多腕包帯について検討した。
一般の凹凸分布ユーティリティのためのフレームワークを開発し、正確な影響関数の実装とプラグインの影響関数の実装を比較した数値実験を行った。
論文 参考訳(メタデータ) (2026-04-24T01:13:19Z) - Exact closed-form Gaussian moments of residual layers [0.0]
本研究では,モンテカルロの基底的真理からKLの偏差を,最先端の決定論的推論法により100倍に改善することを示す。
また、最近注目されているフィードフォワードニューロンの事前誤差境界と予備解析も与えている。
論文 参考訳(メタデータ) (2026-01-29T20:47:55Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Closure Discovery for Coarse-Grained Partial Differential Equations Using Grid-based Reinforcement Learning [2.9611509639584304]
本稿では,グリッドベース強化学習を用いて,未解決PDEにおけるクロージャの同定のための体系的アプローチを提案する。
我々は, 対流方程式とバーガース方程式の数値解を用いて, フレームワークの機能と限界を実証する。
論文 参考訳(メタデータ) (2024-02-01T19:41:04Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。