論文の概要: On the Importance of Gradient Norm in PAC-Bayesian Bounds

• arxiv url: http://arxiv.org/abs/2210.06143v1
• Date: Wed, 12 Oct 2022 12:49:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:09:00.898952
• Title: On the Importance of Gradient Norm in PAC-Bayesian Bounds
• Title（参考訳）: PAC-ベイズ境界における勾配ノルムの重要性について
• Authors: Itai Gat, Yossi Adi, Alexander Schwing, Tamir Hazan
• Abstract要約: 対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
• 参考スコア（独自算出の注目度）: 92.82627080794491
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generalization bounds which assess the difference between the true risk and the empirical risk, have been studied extensively. However, to obtain bounds, current techniques use strict assumptions such as a uniformly bounded or a Lipschitz loss function. To avoid these assumptions, in this paper, we follow an alternative approach: we relax uniform bounds assumptions by using on-average bounded loss and on-average bounded gradient norm assumptions. Following this relaxation, we propose a new generalization bound that exploits the contractivity of the log-Sobolev inequalities. These inequalities add an additional loss-gradient norm term to the generalization bound, which is intuitively a surrogate of the model complexity. We apply the proposed bound on Bayesian deep nets and empirically analyze the effect of this new loss-gradient norm term on different neural architectures.
• Abstract（参考訳）: 真のリスクと経験的リスクの違いを評価する一般化境界は、広く研究されている。 しかし、境界を得るためには、現在の手法では一様有界あるいはリプシッツ損失関数のような厳密な仮定を用いる。 このような仮定を避けるために,本論文では,平均値の有界損失と平均値の有界勾配ノルム仮定を用いることで,一様境界仮定を緩和する手法を提案する。 この緩和に続いて、対数ソボレフの不等式の縮約性を利用する新しい一般化境界を提案する。 これらの不等式は一般化境界にさらなる損失次数ノルム項を加え、直感的にはモデルの複雑性の代用である。 提案する境界をベイズ深層網に適用し,この新しい損失勾配ノルムが異なるニューラルアーキテクチャに与える影響を実験的に解析する。

関連論文リスト

• Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
  我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。 経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
  論文  参考訳（メタデータ） (2024-06-07T01:07:35Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
  ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。 私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。 ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:16:55Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• On the generalization of bayesian deep nets for multi-class classification [27.39403411896995]
  我々は,Log-Sobolevの不等式の縮約性を利用して,ベイズ深度ネットの新たな一般化を提案する。 これらの不等式を使用すると、一般化境界に損失次数ノルム項が加わり、これは直感的にはモデルの複雑性の代用である。
  論文  参考訳（メタデータ） (2020-02-23T09:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。