論文の概要: Bounds on the Excess Minimum Risk via Generalized Information Divergence Measures

• arxiv url: http://arxiv.org/abs/2505.24117v1
• Date: Fri, 30 May 2025 01:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.722772
• Title: Bounds on the Excess Minimum Risk via Generalized Information Divergence Measures
• Title（参考訳）: 包括的情報分散対策による最小リスクの超過に関する考察
• Authors: Ananya Omanwar, Fady Alajaji, Tamás Linder,
• Abstract要約: 有限次元のランダムベクトルが$Y$、$X$、および$Z$を与えられたとき、過剰な最小リスクの上限を導出する。 過大な最小リスクは、$Y$を$X$から$Z$から推定する最小損失の差として定義される。 我々は、Gy"orfi et al.の相互情報に基づく境界を一般化する境界の族を示す。
• 参考スコア（独自算出の注目度）: 8.343111115184591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given finite-dimensional random vectors $Y$, $X$, and $Z$ that form a Markov chain in that order (i.e., $Y \to X \to Z$), we derive upper bounds on the excess minimum risk using generalized information divergence measures. Here, $Y$ is a target vector to be estimated from an observed feature vector $X$ or its stochastically degraded version $Z$. The excess minimum risk is defined as the difference between the minimum expected loss in estimating $Y$ from $X$ and from $Z$. We present a family of bounds that generalize the mutual information based bound of Gy\"orfi et al. (2023), using the R\'enyi and $\alpha$-Jensen-Shannon divergences, as well as Sibson's mutual information. Our bounds are similar to those developed by Modak et al. (2021) and Aminian et al. (2024) for the generalization error of learning algorithms. However, unlike these works, our bounds do not require the sub-Gaussian parameter to be constant and therefore apply to a broader class of joint distributions over $Y$, $X$, and $Z$. We also provide numerical examples under both constant and non-constant sub-Gaussianity assumptions, illustrating that our generalized divergence based bounds can be tighter than the one based on mutual information for certain regimes of the parameter $\alpha$.
• Abstract（参考訳）: 有限次元のランダムベクトル $Y$, $X$, $Z$ がその順序でマルコフ連鎖(すなわち、$Y \to X \to Z$)を成すと、一般化された情報偏差測度を用いて過大な最小リスクの上限を導出する。 ここで、$Y$ は観測された特徴ベクトル $X$ またはその確率的に分解されたバージョン $Z$ から推定される対象ベクトルである。 過大な最小リスクは、$Y$を$X$から$Z$から推定する最小損失の差として定義される。 我々は、R'enyi と $\alpha$-Jensen-Shannon divergences と Sibson の相互情報を用いて、Gy\"orfi et al (2023) の相互情報に基づく境界を一般化する境界の族を示す。 我々の境界は、学習アルゴリズムの一般化誤差に対してModak et al (2021) と Aminian et al (2024) によって開発されたものに似ている。 しかし、これらの仕事とは異なり、我々の境界はガウス以下のパラメータを定数にする必要はなく、従って$Y$, $X$, $Z$ 以上のより広い合同分布のクラスに適用できる。 また、定数および非定数部分ガウス性仮定の下で数値的な例を示し、一般化された発散に基づく境界はパラメータ$\alpha$の特定の状態の相互情報に基づくものよりも厳密であることを示した。

関連論文リスト

• Entangled Mean Estimation in High-Dimensions [36.97113089188035]
  信号のサブセットモデルにおける高次元エンタングルド平均推定の課題について検討する。 最適誤差(polylogarithmic factor)は$f(alpha,N) + sqrtD/(alpha N)$であり、$f(alpha,N)$は1次元問題の誤差であり、第二項は準ガウス誤差率である。
  論文  参考訳（メタデータ） (2025-01-09T18:31:35Z)
• Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
  以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。 本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-01T17:59:53Z)
• Sum-of-squares lower bounds for Non-Gaussian Component Analysis [33.80749804695003]
  非ガウス成分分析(Non-Gaussian Component Analysis、NGCA)は、高次元データセットにおいて非ガウス方向を求める統計的タスクである。 本稿では Sum-of-Squares フレームワークにおける NGCA の複雑さについて考察する。
  論文  参考訳（メタデータ） (2024-10-28T18:19:13Z)
• Universality of max-margin classifiers [10.797131009370219]
  非ガウス的特徴に対する誤分類誤差の高次元普遍性と大域化写像の役割について検討する。 特に、オーバーパラメトリゼーションしきい値と一般化誤差はより単純なモデルで計算できる。
  論文  参考訳（メタデータ） (2023-09-29T22:45:56Z)
• $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
  この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。 特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
  論文  参考訳（メタデータ） (2023-09-17T01:45:13Z)
• New Lower Bounds for Private Estimation and a Generalized Fingerprinting Lemma [10.176795938619417]
  統計的推定タスクの新たな下限を$(varepsilon, delta)$-differential privacyの制約の下で証明する。 フロベニウスノルムの推定には$Omega(d2)$サンプルが必要であり、スペクトルノルムでは$Omega(d3/2)$サンプルが必要である。
  論文  参考訳（メタデータ） (2022-05-17T17:55:10Z)
• The Sample Complexity of Robust Covariance Testing [56.98280399449707]
  i. i. d. 形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。 汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。 サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
  論文  参考訳（メタデータ） (2020-12-31T18:24:41Z)
• Information-Theoretic Bounds on Transfer Generalization Gap Based on Jensen-Shannon Divergence [42.275148861039895]
  トランスファーラーニングでは、異なるデータ分布からデータセットをトレーニングし、テストする。 本研究は, 平均移動一般化ギャップに関する新しい情報理論上界を示す。
  論文  参考訳（メタデータ） (2020-10-13T11:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。