論文の概要: Sample compression unleashed : New generalization bounds for real valued losses

• arxiv url: http://arxiv.org/abs/2409.17932v1
• Date: Thu, 26 Sep 2024 15:08:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 16:52:13.120923
• Title: Sample compression unleashed : New generalization bounds for real valued losses
• Title（参考訳）: サンプル圧縮の解法 : 実値損失に対する新しい一般化境界
• Authors: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain,
• Abstract要約: 実数値損失を抑える新しいサンプル圧縮境界を導出するための一般的な枠組みを提案する。 異なるタイプのモデルで評価することで、境界の厳密さとそれらの汎用性を実証的に実証する。
• 参考スコア（独自算出の注目度）: 9.180445799821717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The sample compression theory provides generalization guarantees for predictors that can be fully defined using a subset of the training dataset and a (short) message string, generally defined as a binary sequence. Previous works provided generalization bounds for the zero-one loss, which is restrictive, notably when applied to deep learning approaches. In this paper, we present a general framework for deriving new sample compression bounds that hold for real-valued losses. We empirically demonstrate the tightness of the bounds and their versatility by evaluating them on different types of models, e.g., neural networks and decision forests, trained with the Pick-To-Learn (P2L) meta-algorithm, which transforms the training method of any machine-learning predictor to yield sample-compressed predictors. In contrast to existing P2L bounds, ours are valid in the non-consistent case.
• Abstract（参考訳）: サンプル圧縮理論は、トレーニングデータセットのサブセットと、一般的にバイナリシーケンスとして定義される(ショート)メッセージ文字列を使用して、完全に定義可能な予測子に対して、一般化保証を提供する。 従来の研究はゼロ・ワン損失に対する一般化境界を提供しており、特にディープラーニングのアプローチに適用する場合は制限的であった。 本稿では,実数値損失を抑える新しいサンプル圧縮境界を導出するための一般的な枠組みを提案する。 我々は,任意の機械学習予測器のトレーニング手法を変換し,サンプル圧縮予測器を出力するPick-To-Learn(P2L)メタアルゴリズムを用いて学習したモデル,例えばニューラルネットワーク,決定林などのモデルに基づいて,境界の厳密性とそれらの汎用性を実証的に示す。 既存の P2L 境界とは対照的に、我々は矛盾しない場合において有効である。

関連論文リスト

• Sample Compression Hypernetworks: From Generalization Bounds to Meta-Learning [47.83977297248753]
  再構成関数はサンプル圧縮理論において重要である。 実値メッセージに対する新しいサンプル圧縮一般化法を導出する。 我々は,厳密な一般化保証付き予測器を出力する新しいハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-17T14:12:35Z)
• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Federated Random Reshuffling with Compression and Variance Reduction [0.0]
  ランダムリシャッフル(RR)は、経験的リスク最小化を通じて教師付き機械学習モデルをトレーニングするための非常に一般的な方法である。 組み込みであり、しばしば標準の機械学習ソフトウェアでデフォルトとして設定される。 我々はFedRRをさらに改善するための3つの新しいアルゴリズムを紹介した。1つはシャッフルによる分散を、もう1つは圧縮による分散をモデル化する。
  論文  参考訳（メタデータ） (2022-05-08T16:46:11Z)
• Approximability and Generalisation [0.0]
  予測器の完全精度と近似設定の両方において、学習における近似性の役割について検討する。 軽度の条件下では、より小さなラベル付きサンプルから近似可能なターゲット概念が学習可能であることを示す。 近似も同じ一般化保証を享受する優れた予測器を保証するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-03-15T15:21:48Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。