Fugu-MT 論文翻訳(概要): Information Processing Equalities and the Information-Risk Bridge

論文の概要: Information Processing Equalities and the Information-Risk Bridge

arxiv url: http://arxiv.org/abs/2207.11987v2
Date: Fri, 8 Sep 2023 11:48:47 GMT
ステータス: 処理完了
システム内更新日: 2023-09-11 18:59:46.415455
Title: Information Processing Equalities and the Information-Risk Bridge
Title（参考訳）: 情報処理等式と情報リスクブリッジ
Authors: Robert C. Williamson and Zac Cranko
Abstract要約: 本稿では,統計実験のための2つの新しい情報尺度について紹介する。我々は,情報量測定と統計的決定問題のベイズリスクとの簡単な幾何学的関係を導出する。
参考スコア（独自算出の注目度）: 10.451984251615512
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We introduce two new classes of measures of information for statistical experiments which generalise and subsume $\phi$-divergences, integral probability metrics, $\mathfrak{N}$-distances (MMD), and $(f,\Gamma)$ divergences between two or more distributions. This enables us to derive a simple geometrical relationship between measures of information and the Bayes risk of a statistical decision problem, thus extending the variational $\phi$-divergence representation to multiple distributions in an entirely symmetric manner. The new families of divergence are closed under the action of Markov operators which yields an information processing equality which is a refinement and generalisation of the classical data processing inequality. This equality gives insight into the significance of the choice of the hypothesis class in classical risk minimization.
Abstract（参考訳）: 統計実験のための情報測定の2つの新しいクラスを導入し、$\phi$-divergences, integral probability metrics, $\mathfrak{N}$-distances (MMD), $(f,\Gamma)$ divergences を2つ以上の分布間で一般化する。これにより、情報の測度と統計的決定問題のベイズリスクの間の単純な幾何学的関係を導出し、変分$\phi$-divergence表現を完全に対称的に複数の分布に拡張することができる。新しい発散の族はマルコフ作用素の作用により閉ざされ、古典的なデータ処理の不平等の洗練と一般化である情報処理の平等が生じる。この等式は古典的リスク最小化における仮説クラスの選択の重要性についての洞察を与える。

関連論文リスト

The Generalization Error of Machine Learning Algorithms [0.0]
差分法は,機械学習アルゴリズムの一般化誤差に対する情報量の観点から,閉形式式を導出する手法である。提案手法により,機械学習アルゴリズムの一般化誤差に対する既存の正確な表現が得られる。
論文参考訳（メタデータ） (2024-11-18T20:05:51Z)
Mutual Information Multinomial Estimation [53.58005108981247]
相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
論文参考訳（メタデータ） (2024-08-18T06:27:30Z)
Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文参考訳（メタデータ） (2023-10-12T10:56:25Z)
Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
論文参考訳（メタデータ） (2023-06-19T17:26:34Z)
A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文参考訳（メタデータ） (2023-05-18T15:36:20Z)
Lower Bounds on the Bayesian Risk via Information Measures [17.698319441265223]
マルコフの不等式を介して双対を上界にすることで、あらゆる情報測度でリスクを低くすることができることを示す。サンプル数における下位境界の挙動は、情報尺度の選択によって影響される。観測結果が民営化される場合、強いデータ・プロシーシングの不等式により、強い不合理性が得られる。
論文参考訳（メタデータ） (2023-03-22T12:09:12Z)
A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。ブレグマン最小化の発散の観点から一般的な枠組みを開発する。我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文参考訳（メタデータ） (2021-12-07T01:23:20Z)
Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
論文参考訳（メタデータ） (2021-08-07T22:18:23Z)
Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。実験的リスク最小化による高次元推定器の精度を実証する。合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文参考訳（メタデータ） (2021-06-07T16:53:56Z)
$k$-Variance: A Clustered Notion of Variance [23.57925128327]
我々は,ランダム二成分マッチングの機構に基づく分散の一般化である $k$-variance を導入する。 1次元測度、クラスター測度、低次元部分集合に集中した測度など、いくつかの重要な場合において、この量の詳細分析を行う。
論文参考訳（メタデータ） (2020-12-13T04:25:32Z)
Saliency-based Weighted Multi-label Linear Discriminant Analysis [101.12909759844946]
複数ラベルの分類課題を解決するために,LDA(Linear Discriminant Analysis)の新たな変種を提案する。提案手法は,個々の試料の重量を定義する確率モデルに基づく。サリエンシに基づく重み付きマルチラベル LDA アプローチは,様々なマルチラベル分類問題の性能改善につながることが示されている。
論文参考訳（メタデータ） (2020-04-08T19:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。