論文の概要: Convergence of Statistical Estimators via Mutual Information Bounds

• arxiv url: http://arxiv.org/abs/2412.18539v1
• Date: Tue, 24 Dec 2024 16:42:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:02.472912
• Title: Convergence of Statistical Estimators via Mutual Information Bounds
• Title（参考訳）: 相互情報境界を用いた統計的推定器の収束性
• Authors: El Mahdi Khribch, Pierre Alquier,
• Abstract要約: 我々は統計モデルに縛られた新しい相互情報を導入する。 導出境界は、統計的推測において広い範囲の応用を持つ。 また、幅広い推定方法の研究にも使用できる。
• 参考スコア（独自算出の注目度）: 3.9041951045689305
• License:
• Abstract: Recent advances in statistical learning theory have revealed profound connections between mutual information (MI) bounds, PAC-Bayesian theory, and Bayesian nonparametrics. This work introduces a novel mutual information bound for statistical models. The derived bound has wide-ranging applications in statistical inference. It yields improved contraction rates for fractional posteriors in Bayesian nonparametrics. It can also be used to study a wide range of estimation methods, such as variational inference or Maximum Likelihood Estimation (MLE). By bridging these diverse areas, this work advances our understanding of the fundamental limits of statistical inference and the role of information in learning from data. We hope that these results will not only clarify connections between statistical inference and information theory but also help to develop a new toolbox to study a wide range of estimators.
• Abstract（参考訳）: 統計学習理論の最近の進歩は、相互情報(MI)境界、PAC-ベイズ理論、ベイズ非パラメトリックの間の深い関係を明らかにしている。 この研究は、統計モデルに縛られた新しい相互情報を導入している。 導出境界は、統計的推測において広い範囲の応用を持つ。 ベイズ非パラメトリックスにおける分数後方の収縮率を改善する。 また、変分推定や最大同値推定(MLE)など、幅広い推定方法の研究にも使用できる。 これらの多様な領域をブリッジすることで、統計的推論の基本的限界とデータからの学習における情報の役割の理解を深める。 これらの結果は,統計的推測と情報理論の関係を解明するだけでなく,多様な推定器を研究するための新しいツールボックスの開発にも役立てられることを願っている。

関連論文リスト

• Estimation of the Learning Coefficient Using Empirical Loss [0.9208007322096532]
  学習係数は,情報基準の性能分析において重要な役割を果たす。 本稿では,従来の手法と根本的に異なる新しい数値推定法を提案する。
  論文  参考訳（メタデータ） (2025-02-14T08:30:04Z)
• Mutual Information Multinomial Estimation [53.58005108981247]
  相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。 我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。 非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
  論文  参考訳（メタデータ） (2024-08-18T06:27:30Z)
• Synthetic Tabular Data Validation: A Divergence-Based Approach [8.062368743143388]
  分散は、データ分散間の相違を定量化する。 従来のアプローチでは、各特徴に対して独立して発散率を計算する。 本稿では,差分推定を用いて限界比較の限界を克服する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-13T15:07:52Z)
• Scalable Bayesian inference for the generalized linear mixed model [2.45365913654612]
  本稿では,AIとベイズ推論の交点に統計的推論アルゴリズムを導入する。 我々のアルゴリズムは、相関データの処理に対処する新しい貢献を伴う勾配MCMCの拡張である。 我々はこのアルゴリズムを大規模な電子健康記録データベースに適用する。
  論文  参考訳（メタデータ） (2024-03-05T14:35:34Z)
• Fundamental Limits of Membership Inference Attacks on Machine Learning Models [29.367087890055995]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがトレーニングデータセットの一部であったかどうかを明らかにすることができる。 本稿では、機械学習モデルにおけるMIAに関する基本的な統計的制限を探索することによって理論的保証を提供する。
  論文  参考訳（メタデータ） (2023-10-20T19:32:54Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Excess risk analysis for epistemic uncertainty with application to variational inference [110.4676591819618]
  我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。 一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。 本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
  論文  参考訳（メタデータ） (2022-06-02T12:12:24Z)
• A Unifying Framework for Some Directed Distances in Statistics [0.0]
  密度に基づく有向距離(特に発散距離)は統計学で広く使われている。 本稿では、密度ベースと分布関数ベースの分散アプローチの両方を網羅する一般的なフレームワークを提供する。 我々は、有望な相互情報の代替として、確率変数間の依存の新たな概念を導出する。
  論文  参考訳（メタデータ） (2022-03-02T04:24:13Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。