論文の概要: PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons

• arxiv url: http://arxiv.org/abs/2006.08888v2
• Date: Wed, 17 Jun 2020 05:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:10:06.871258
• Title: PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons
• Title（参考訳）: 多層パーセプトロンのためのPAC-Bayesian一般化境界
• Authors: Xinjie Lan, Xin Guo, Kenneth E. Barner
• Abstract要約: PAC-Bayesian bounds for Multilayer PerceptronMLPs with the cross entropy loss。 我々は, PAC-Bayesian 境界のクロスエントロピー損失を保証する一般化と, PAC-Bayesian 境界の最小化がエビデンス・ローワー・バウンド(ELBO)の最大化と等価であることを証明した。 ベンチマークデータセットに基づいて提案したPAC-Bayesian一般化を検証する。
• 参考スコア（独自算出の注目度）: 6.151486024920938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study PAC-Bayesian generalization bounds for Multilayer Perceptrons (MLPs) with the cross entropy loss. Above all, we introduce probabilistic explanations for MLPs in two aspects: (i) MLPs formulate a family of Gibbs distributions, and (ii) minimizing the cross-entropy loss for MLPs is equivalent to Bayesian variational inference, which establish a solid probabilistic foundation for studying PAC-Bayesian bounds on MLPs. Furthermore, based on the Evidence Lower Bound (ELBO), we prove that MLPs with the cross entropy loss inherently guarantee PAC- Bayesian generalization bounds, and minimizing PAC-Bayesian generalization bounds for MLPs is equivalent to maximizing the ELBO. Finally, we validate the proposed PAC-Bayesian generalization bound on benchmark datasets.
• Abstract（参考訳）: クロスエントロピー損失を持つ多層パーセプトロン(MLP)に対するPAC-ベイズ一般化境界について検討した。 以下に、MLPの確率論的説明を2つの側面で紹介する。 i)MLPは、ギブス分布の族を定式化し、 (II) MLPのクロスエントロピー損失を最小化することはベイズ変分推論と等価であり、MPP上のPAC-ベイズ境界を研究するための確固とした確率的基礎を確立する。 さらに、ELBO(エビデンス・ロウアー・バウンド)に基づいて、交差エントロピー損失を持つMLPが本質的にPAC-ベイジアン一般化境界を保証し、MPPに対するPAC-ベイジアン一般化境界を最小化することがELBOの最大化と等価であることを示す。 最後に,ベンチマークデータセットに基づくPAC-Bayesian一般化の検証を行った。

関連論文リスト

• Tighter Generalisation Bounds via Interpolation [16.74864438507713]
  本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。 また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
  論文  参考訳（メタデータ） (2024-02-07T18:55:22Z)
• Towards Instance-Optimality in Online PAC Reinforcement Learning [28.156332484814616]
  そこで本研究では,PACの同定に要するサンプルの複雑さに対する最初のインスタンス依存下限について提案する。 我々は、citeWagenmaker22linearMDPのPEDELアルゴリズムのサンプル複雑さがこの下界に近づいたことを実証する。
  論文  参考訳（メタデータ） (2023-10-31T19:26:36Z)
• Optimality Guarantees for Particle Belief Approximation of POMDPs [55.83001584645448]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、現実の意思決定と制御の問題に対する柔軟な表現を提供する。 POMDPは、特に状態と観測空間が連続的またはハイブリッドである場合、解決するのが非常に難しい。 本稿では,これらのアルゴリズムが使用する粒子フィルタリング手法の近似誤差を特徴付ける理論を提案する。
  論文  参考訳（メタデータ） (2022-10-10T21:11:55Z)
• Optimistic PAC Reinforcement Learning: the Instance-Dependent View [24.256960622176305]
  PAC RL, BPI-UCRL に対する楽観的アルゴリズムを提案する。 私たちの限界は、最小の訪問確率を特徴としていますが、それはまた、準最適ギャップという洗練された概念も特徴です。 決定論的遷移を持つMDPでは、BPI-UCRLが実際にはほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2022-07-12T21:35:03Z)
• Under-Approximating Expected Total Rewards in POMDPs [68.8204255655161]
  我々は、部分的に観測可能なマルコフ決定プロセス(POMDP)において、ゴール状態に達するための最適な総報酬を考える。 我々は、MILP(mixed-integer linear programming)を用いて、そのような最小限の確率シフトを見つけ、実験により、我々の手法がかなりうまく拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-21T16:43:03Z)
• Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability [92.95794652625496]
  総合化は強化学習システムの展開における中心的な課題である。 限られた訓練条件から検査条件を特定できないように一般化することは、暗黙的な部分観察可能性をもたらすことを示す。 我々は、RLにおける一般化の問題を、部分的に観察されたマルコフ決定過程の解法として再考した。
  論文  参考訳（メタデータ） (2021-07-13T17:59:25Z)
• A Fully Problem-Dependent Regret Lower Bound for Finite-Horizon MDPs [117.82903457289584]
  有限水平マルコフ決定過程(MDPs)における新たな問題依存的下界を導出する。 我々の下界は一般の場合よりもかなり小さく、最小の作用ギャップでスケールしないことが示される。 この最後の結果($poly(H)$の条件で、$H$は地平線である)は、楽観的なアルゴリズムのポリシーギャップに基づいて、後悔の意を表すことによって達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-24T13:46:09Z)
• RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
  後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討 LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。 鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
  論文  参考訳（メタデータ） (2021-02-09T16:49:58Z)
• A Probabilistic Representation of Deep Learning for Improving The Information Theoretic Interpretability [1.914535189888288]
  マルチパラメトリック・パーセプトロン(MLP)の一般化のための明示的確率論的説明を導入する。 本研究では, 確率変数 f が離散であり, 対応するエントロピーが有限であること, (ii) 情報ボトルネック理論がバックプロパゲーションを考慮した場合, 一般化における情報フローを正確に説明できないこと, (iii) 一般化のための新しい情報理論的説明を提案すること, の3つの側面で, データセットの情報-理論的解釈性を改善する。
  論文  参考訳（メタデータ） (2020-10-27T05:14:28Z)
• Planning in Markov Decision Processes with Gap-Dependent Sample Complexity [48.98199700043158]
  マルコフ決定過程における計画のための新しいトラジェクトリに基づくモンテカルロ木探索アルゴリズム MDP-GapE を提案する。 我々は, MDP-GapE に要求される生成モデルに対する呼び出し回数の上限を証明し, 確率の高い準最適動作を同定する。
  論文  参考訳（メタデータ） (2020-06-10T15:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。