論文の概要: Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information

• arxiv url: http://arxiv.org/abs/2107.13656v1
• Date: Wed, 28 Jul 2021 22:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 23:07:30.290596
• Title: Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information
• Title（参考訳）: 対称化KL情報を用いたギブズアルゴリズムの一般化誤差のキャラクタリゼーション
• Authors: Gholamali Aminian, Yuheng Bu, Laura Toni, Miguel R. D. Rodrigues and Gregory Wornell
• Abstract要約: 教師付き学習アルゴリズムの一般化誤差の境界は、学習理論における最も重要な問題の1つである。 我々の主な貢献は、よく知られたギブスアルゴリズムの予測一般化誤差を正確に評価することである。
• 参考スコア（独自算出の注目度）: 18.92529916180208
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Bounding the generalization error of a supervised learning algorithm is one of the most important problems in learning theory, and various approaches have been developed. However, existing bounds are often loose and lack of guarantees. As a result, they may fail to characterize the exact generalization ability of a learning algorithm. Our main contribution is an exact characterization of the expected generalization error of the well-known Gibbs algorithm in terms of symmetrized KL information between the input training samples and the output hypothesis. Such a result can be applied to tighten existing expected generalization error bound. Our analysis provides more insight on the fundamental role the symmetrized KL information plays in controlling the generalization error of the Gibbs algorithm.
• Abstract（参考訳）: 教師付き学習アルゴリズムの一般化誤差は、学習理論において最も重要な問題の1つであり、様々なアプローチが開発されている。 しかし、既存の境界はしばしば緩く、保証がない。 その結果、学習アルゴリズムの正確な一般化能力の特徴付けに失敗する可能性がある。 本研究の主な貢献は,入力訓練サンプルと出力仮説間の対称性kl情報の観点から,gibbsアルゴリズムの期待一般化誤差の精密評価である。 このような結果は、既存の期待一般化誤差境界を締め付けるために適用できる。 本解析は,gibbsアルゴリズムの一般化誤差の制御における対称性kl情報の役割についてより深い知見を与える。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• Generalization Analysis of Machine Learning Algorithms via the Worst-Case Data-Generating Probability Measure [1.773764539873123]
  データに対する最悪の確率測定は、機械学習アルゴリズムの一般化能力を特徴づけるツールとして紹介される。 予測損失の感度、経験的リスクの感度、一般化ギャップなどの基本的な一般化指標は、クローズドフォーム表現を持つことが示されている。 最悪のデータ生成確率尺度とギブスアルゴリズムとの間には,新たな並列性が確立されている。
  論文  参考訳（メタデータ） (2023-12-19T15:20:27Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Characterizing and Understanding the Generalization Error of Transfer Learning with Gibbs Algorithm [10.851348154870854]
  本稿では,ギブスに基づく移動学習アルゴリズムの一般化能力に関する情報理論解析を行う。 本稿では,2段階のトランスファー学習アプローチである$alpha$-weightedERMと2段階ERMに着目した。
  論文  参考訳（メタデータ） (2021-11-02T14:49:48Z)
• Information-theoretic generalization bounds for black-box learning algorithms [46.44597430985965]
  我々は,学習アルゴリズムの出力ではなく,予測に含まれる情報に基づいて,教師付き学習アルゴリズムに対する情報理論の一般化境界を導出する。 本研究では,ディープラーニングの実践シナリオにおいて,提案した境界が一般化ギャップに密接に従っていることを示す。
  論文  参考訳（メタデータ） (2021-10-04T17:28:41Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms [19.186110989897738]
  一般化エラー境界は、機械学習モデルの性能を理解するために重要である。 本稿では,機械学習モデルの一般化動作を,一般化誤差モーメントに対する特徴付け(バウンド)に基づいてより洗練された分析を行う。
  論文  参考訳（メタデータ） (2021-02-03T11:38:00Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• Information-theoretic analysis for transfer learning [5.081241420920605]
  本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。 我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
  論文  参考訳（メタデータ） (2020-05-18T13:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。