論文の概要: Continuity of Generalized Entropy and Statistical Learning

• arxiv url: http://arxiv.org/abs/2012.15829v1
• Date: Thu, 31 Dec 2020 18:51:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 20:33:43.892175
• Title: Continuity of Generalized Entropy and Statistical Learning
• Title（参考訳）: 一般化エントロピーの連続性と統計的学習
• Authors: Aolin Xu
• Abstract要約: 確率分布の関数としての一般化エントロピーの連続性について検討した。 統計的学習理論の基本的な問題, 様々な学習方法の過剰リスク分析に, この特性を用いて答える。
• 参考スコア（独自算出の注目度）: 4.568777157687959
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the continuity property of the generalized entropy as a functional of the underlying probability distribution, defined with an action space and a loss function, and use this property to answer the basic questions in statistical learning theory, the excess risk analyses for various learning methods. We first derive upper and lower bounds for the entropy difference of two distributions in terms of several commonly used $f$-divergences, the Wasserstein distance, and a distance that depends on the action space and the loss function. Examples are given along with the discussion of each general result, comparisons are made with the existing entropy difference bounds, and new mutual information upper bounds are derived based on the new results. We then apply the entropy difference bounds to the theory of statistical learning. It is shown that the excess risks in the two popular learning paradigms, the frequentist learning and the Bayesian learning, both can be studied with the continuity property of different forms of the generalized entropy. The analysis is then extended to the continuity of generalized conditional entropy. The extension provides performance bounds for Bayes decision making with mismatched distributions. It also leads to excess risk bounds for a third paradigm of learning, where the decision rule is optimally designed under the projection of the empirical distribution to a predefined family of distributions. We thus establish a unified method of excess risk analysis for the three major paradigms of statistical learning, through the continuity of generalized entropy.
• Abstract（参考訳）: 本研究では, 行動空間と損失関数で定義される確率分布の関数としての一般化エントロピーの連続性について検討し, この性質を用いて, 様々な学習手法における過剰なリスク解析である統計的学習理論における基礎的疑問に答える。 まず、2つの分布のエントロピー差について、よく使われる$f$-発散数、ワッサーシュタイン距離、および作用空間と損失関数に依存する距離で上界と下界を導出する。 各一般結果の議論と合わせて,既存のエントロピー差分境界との比較を行い,新たな結果に基づいて新たな相互情報上限を導出する。 次に、エントロピー差分境界を統計的学習の理論に適用する。 一般的な2つの学習パラダイムである頻繁な学習とベイズ学習の過大なリスクは、それぞれ、一般化エントロピーの異なる形式の連続性によって研究できることが示されている。 解析は一般化された条件エントロピーの連続性へと拡張される。 この拡張は、ミスマッチした分布でベイズ決定を行うための性能境界を提供する。 また、第三の学習パラダイムに対する過剰なリスク境界にもつながり、決定規則は予め定義された分布の族への経験的分布の予測の下で最適に設計される。 そこで我々は,一般化エントロピーの連続性を通じて,統計的学習の3つの主要なパラダイムに対する過剰リスク分析の統一的手法を確立する。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Trade-off Between Dependence and Complexity for Nonparametric Learning -- an Empirical Process Approach [10.27974860479791]
  データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。 標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。 長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
  論文  参考訳（メタデータ） (2024-01-17T05:08:37Z)
• Inferential Moments of Uncertain Multivariable Systems [0.0]
  我々はベイズ確率の更新をランダムなプロセスとして扱い、推論モーメントと呼ばれる結合確率分布の固有量的特徴を明らかにする。 推論モーメントは、まだ取得されていない情報に応じて、事前分布がどのように更新されるかについての形状情報を定量化する。 情報理論の要素と推論理論の関連性を示す推論モーメントの観点から,相互情報の時系列展開を求める。
  論文  参考訳（メタデータ） (2023-05-03T00:56:12Z)
• Statistical Properties of the Entropy from Ordinal Patterns [55.551675080361335]
  大規模な時系列モデルに対するエントロピー・統計複雑性の連立分布を知っていれば、今日まで利用できない統計テストが可能になるだろう。 実正規化エントロピーが零でも1でもないモデルに対して、経験的シャノンのエントロピーの分布を特徴づける。 2つの信号が同じシャノンのエントロピーを持つ順序パターンを生成するという仮説を否定するのに十分な証拠があるかどうかを検証する。
  論文  参考訳（メタデータ） (2022-09-15T23:55:58Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• A Unifying Framework for Some Directed Distances in Statistics [0.0]
  密度に基づく有向距離(特に発散距離)は統計学で広く使われている。 本稿では、密度ベースと分布関数ベースの分散アプローチの両方を網羅する一般的なフレームワークを提供する。 我々は、有望な相互情報の代替として、確率変数間の依存の新たな概念を導出する。
  論文  参考訳（メタデータ） (2022-03-02T04:24:13Z)
• Generalisation and the Risk--Entropy Curve [0.49723239539321284]
  学習機械の予測一般化性能は、リスクの分布やそれに相当するエントロピーによって決定されることを示す。 結果はMarkov Chain Monte Carlo技術を用いて、さまざまなディープニューラルネットワークモデルに対して提示される。
  論文  参考訳（メタデータ） (2022-02-15T12:19:10Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• R\'enyi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations [91.3755431537592]
  量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。 我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
  論文  参考訳（メタデータ） (2021-06-19T04:06:23Z)
• Contextuality scenarios arising from networks of stochastic processes [68.8204255655161]
  経験的モデルは、その分布が X 上の合同分布を極小化することができなければ文脈的と言える。 我々は、多くのプロセス間の相互作用という、文脈的経験的モデルの異なる古典的な源泉を示す。 長期にわたるネットワークの統計的挙動は、経験的モデルを一般的な文脈的かつ強い文脈的にする。
  論文  参考訳（メタデータ） (2020-06-22T16:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。