論文の概要: Generalization Analysis of Machine Learning Algorithms via the Worst-Case Data-Generating Probability Measure

• arxiv url: http://arxiv.org/abs/2312.12236v1
• Date: Tue, 19 Dec 2023 15:20:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 15:17:02.734513
• Title: Generalization Analysis of Machine Learning Algorithms via the Worst-Case Data-Generating Probability Measure
• Title（参考訳）: 最悪のデータ生成確率測定による機械学習アルゴリズムの一般化解析
• Authors: Xinying Zou, Samir M. Perlaza, I\~naki Esnaola, Eitan Altman
• Abstract要約: データに対する最悪の確率測定は、機械学習アルゴリズムの一般化能力を特徴づけるツールとして紹介される。 予測損失の感度、経験的リスクの感度、一般化ギャップなどの基本的な一般化指標は、クローズドフォーム表現を持つことが示されている。 最悪のデータ生成確率尺度とギブスアルゴリズムとの間には,新たな並列性が確立されている。
• 参考スコア（独自算出の注目度）: 1.773764539873123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, the worst-case probability measure over the data is introduced as a tool for characterizing the generalization capabilities of machine learning algorithms. More specifically, the worst-case probability measure is a Gibbs probability measure and the unique solution to the maximization of the expected loss under a relative entropy constraint with respect to a reference probability measure. Fundamental generalization metrics, such as the sensitivity of the expected loss, the sensitivity of the empirical risk, and the generalization gap are shown to have closed-form expressions involving the worst-case data-generating probability measure. Existing results for the Gibbs algorithm, such as characterizing the generalization gap as a sum of mutual information and lautum information, up to a constant factor, are recovered. A novel parallel is established between the worst-case data-generating probability measure and the Gibbs algorithm. Specifically, the Gibbs probability measure is identified as a fundamental commonality of the model space and the data space for machine learning algorithms.
• Abstract（参考訳）: 本稿では,機械学習アルゴリズムの一般化能力を特徴付けるツールとして,データに対する最悪の確率尺度を導入する。 より具体的には、最悪の確率測度はギブス確率測度であり、基準確率測度に対する相対エントロピー制約の下での期待損失の最大化に対する唯一の解である。 予測損失の感度、経験的リスクの感度、一般化ギャップなどの基本的な一般化指標は、最悪のデータ生成確率測度を含む閉形式表現を持つことが示されている。 一般化ギャップを相互情報の和として特徴付けるようなギブズアルゴリズムの既存の結果と、定因子までのラウテン情報を復元する。 最悪のデータ生成確率測度とgibbsアルゴリズムの間に新たな並列性が確立される。 具体的には、ギブス確率測度はモデル空間と機械学習アルゴリズムのデータ空間の基本的な共通点として同定される。

関連論文リスト

• A unified framework for information-theoretic generalization bounds [8.04975023021212]
  本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。 主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
  論文  参考訳（メタデータ） (2023-05-18T15:36:20Z)
• Learning to Bound Counterfactual Inference in Structural Causal Models from Observational and Randomised Data [64.96984404868411]
  我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。 新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。 反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
  論文  参考訳（メタデータ） (2022-12-06T12:42:11Z)
• On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
  一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。 我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。 次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
  論文  参考訳（メタデータ） (2022-07-12T08:20:41Z)
• MissDAG: Causal Discovery in the Presence of Missing Data with Continuous Additive Noise Models [78.72682320019737]
  不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。 MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。 各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
  論文  参考訳（メタデータ） (2022-05-27T09:59:46Z)
• Robust learning of data anomalies with analytically-solvable entropic outlier sparsification [0.0]
  Outlier Sparsification (EOS) はデータ異常検出のための堅牢な計算戦略として提案されている。 EOSの性能は、合成問題や、バイオメディシンからの部分的に分類された分類問題において、一般的に使用される様々なツールと比較される。
  論文  参考訳（メタデータ） (2021-12-22T10:13:29Z)
• MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
  欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。 MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。 我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2021-11-04T22:38:18Z)
• Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information [18.92529916180208]
  教師付き学習アルゴリズムの一般化誤差の境界は、学習理論における最も重要な問題の1つである。 我々の主な貢献は、よく知られたギブスアルゴリズムの予測一般化誤差を正確に評価することである。
  論文  参考訳（メタデータ） (2021-07-28T22:20:34Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Probabilistic Simplex Component Analysis [66.30587591100566]
  PRISMは、データ循環記述のシンプルさの頂点をデータから識別する確率論的シンプルコンポーネント分析手法である。 この問題には多様な応用があり、最も注目すべきはリモートセンシングにおけるハイパースペクトルアンミックスと機械学習における非負行列分解である。
  論文  参考訳（メタデータ） (2021-03-18T05:39:00Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Upper Bounds on the Generalization Error of Private Algorithms for Discrete Data [31.122671977370416]
  情報理論の観点からアルゴリズムの一般化能力について検討する。 特に、$epsilon$-DP および $mu$-GDP アルゴリズムの場合、この戦略で得られた限界を示す。
  論文  参考訳（メタデータ） (2020-05-12T16:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。