論文の概要: Information-theoretic generalization bounds for black-box learning algorithms

• arxiv url: http://arxiv.org/abs/2110.01584v1
• Date: Mon, 4 Oct 2021 17:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:48:58.879009
• Title: Information-theoretic generalization bounds for black-box learning algorithms
• Title（参考訳）: ブラックボックス学習アルゴリズムのための情報理論一般化境界
• Authors: Hrayr Harutyunyan, Maxim Raginsky, Greg Ver Steeg, Aram Galstyan
• Abstract要約: 我々は,学習アルゴリズムの出力ではなく,予測に含まれる情報に基づいて,教師付き学習アルゴリズムに対する情報理論の一般化境界を導出する。 本研究では,ディープラーニングの実践シナリオにおいて,提案した境界が一般化ギャップに密接に従っていることを示す。
• 参考スコア（独自算出の注目度）: 46.44597430985965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We derive information-theoretic generalization bounds for supervised learning algorithms based on the information contained in predictions rather than in the output of the training algorithm. These bounds improve over the existing information-theoretic bounds, are applicable to a wider range of algorithms, and solve two key challenges: (a) they give meaningful results for deterministic algorithms and (b) they are significantly easier to estimate. We show experimentally that the proposed bounds closely follow the generalization gap in practical scenarios for deep learning.
• Abstract（参考訳）: 学習アルゴリズムの出力ではなく、予測に含まれる情報に基づいて教師付き学習アルゴリズムにおける情報理論的一般化境界を導出する。 これらの境界は、既存の情報理論境界よりも改善され、より広い範囲のアルゴリズムに適用でき、2つの重要な課題を解決する。 a)決定論的アルゴリズムに有意義な結果を与え (b)推定は極めて容易である。 深層学習における実用シナリオにおいて,提案する境界は一般化ギャップに密接に従っていることを実験的に示す。

関連論文リスト

• Improved Graph-based semi-supervised learning Schemes [0.0]
  本研究では,ラベルの少ない大規模データセットの分類に対処するため,いくつかの既知のアルゴリズムの精度を向上させる。 私たちのフレームワークは、グラフベースの半教師あり学習の領域にあります。
  論文  参考訳（メタデータ） (2024-06-30T16:50:08Z)
• Structured Prediction in Online Learning [66.36004256710824]
  オンライン学習環境における構造化予測のための理論的・アルゴリズム的枠組みについて検討する。 このアルゴリズムは教師付き学習環境からの最適アルゴリズムの一般化であることを示す。 本稿では,非定常データ分布,特に逆データを含む2番目のアルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2024-06-18T07:45:02Z)
• Learning-Augmented Algorithms with Explicit Predictors [67.02156211760415]
  アルゴリズム設計の最近の進歩は、過去のデータと現在のデータから得られた機械学習モデルによる予測の活用方法を示している。 この文脈における以前の研究は、予測器が過去のデータに基づいて事前訓練され、ブラックボックスとして使用されるパラダイムに焦点を当てていた。 本研究では,予測器を解き,アルゴリズムの課題の中で生じる学習問題を統合する。
  論文  参考訳（メタデータ） (2024-03-12T08:40:21Z)
• Generalization error bounds for iterative learning algorithms with bounded updates [41.87646434714452]
  本稿では,これらのアルゴリズムを有界更新で一般化するための新しいバウンダリを導入する。 情報分割を反復的に行うために分散分解手法を用いる。 また,理論と実践のギャップを埋めるために,大規模言語モデルにおける以前に観測されたスケーリングの挙動についても検討する。
  論文  参考訳（メタデータ） (2023-09-10T16:55:59Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
  コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。 本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。 既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
  論文  参考訳（メタデータ） (2023-02-09T20:42:36Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• A Brief Look at Generalization in Visual Meta-Reinforcement Learning [56.50123642237106]
  メタ強化学習アルゴリズムの一般化性能を評価する。 これらのアルゴリズムは、困難なタスクで評価された場合、強いオーバーフィッティングを示すことができる。
  論文  参考訳（メタデータ） (2020-06-12T15:17:17Z)
• Enhancing accuracy of deep learning algorithms by training with low-discrepancy sequences [15.2292571922932]
  トレーニングセットとして低差分シーケンスに基づく深層教師付き学習アルゴリズムを提案する。 提案アルゴリズムは, 適度な高次元の問題に対して, 標準的なディープラーニングアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-26T08:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。