論文の概要: Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks

• arxiv url: http://arxiv.org/abs/2006.12228v1
• Date: Mon, 22 Jun 2020 13:25:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:04:15.824175
• Title: Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks
• Title（参考訳）: 部分集約ニューラルネットワークを用いたpac-bayes目標の微分
• Authors: Felix Biggs and Benjamin Guedj
• Abstract要約: ニューラルネットワークのアンサンブルを平均化することで,新たな階層的な勾配推定が可能になることを示す。 これらのネットワークに対するPAC-ベイジアン境界を再構成し、直接最適化可能で微分可能な目的勾配を導出する。 これらのイノベーションによって、トレーニングが簡単になり、競争上の保証につながることが示されています。
• 参考スコア（独自算出の注目度）: 5.799808780731661
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We make three related contributions motivated by the challenge of training stochastic neural networks, particularly in a PAC-Bayesian setting: (1) we show how averaging over an ensemble of stochastic neural networks enables a new class of \emph{partially-aggregated} estimators; (2) we show that these lead to provably lower-variance gradient estimates for non-differentiable signed-output networks; (3) we reformulate a PAC-Bayesian bound for these networks to derive a directly optimisable, differentiable objective and a generalisation guarantee, without using a surrogate loss or loosening the bound. This bound is twice as tight as that of Letarte et al. (2019) on a similar network type. We show empirically that these innovations make training easier and lead to competitive guarantees.
• Abstract（参考訳）: We make three related contributions motivated by the challenge of training stochastic neural networks, particularly in a PAC-Bayesian setting: (1) we show how averaging over an ensemble of stochastic neural networks enables a new class of \emph{partially-aggregated} estimators; (2) we show that these lead to provably lower-variance gradient estimates for non-differentiable signed-output networks; (3) we reformulate a PAC-Bayesian bound for these networks to derive a directly optimisable, differentiable objective and a generalisation guarantee, without using a surrogate loss or loosening the bound. この境界は、同様のネットワークタイプでLetarte et al. (2019) の2倍厳密である。 これらのイノベーションがトレーニングを容易にし、競争力の保証につながることを実証的に示します。

関連論文リスト

• GFN: A graph feedforward network for resolution-invariant reduced operator learning in multifidelity applications [0.0]
  本研究は,多忠実度アプリケーションのための新しい分解能不変モデルオーダー削減戦略を提案する。 我々はこの研究で開発された新しいニューラルネットワーク層、グラフフィードフォワードネットワークに基づいてアーキテクチャを構築した。 パラメトリックな偏微分方程式に対する自己エンコーダに基づく還元戦略において,異なるメッシュサイズでのトレーニングとテストの能力を利用する。
  論文  参考訳（メタデータ） (2024-06-05T18:31:37Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Cross-Inferential Networks for Source-free Unsupervised Domain Adaptation [17.718392065388503]
  クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。 主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。 ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-06-29T14:04:24Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• On Margins and Derandomisation in PAC-Bayes [7.1577508803778045]
  我々は, PAC-Bayesian 一般化境界をデランドマイズするフレームワークを開発し, 学習データに対するマージンを達成した。 我々はこれらのツールを線形予測、異常なエルフ活性化機能を持つ単層ニューラルネットワーク、深いReLUネットワークに適用し、新しい境界を求める。
  論文  参考訳（メタデータ） (2021-07-08T16:30:08Z)
• A Note on the Global Convergence of Multilayer Neural Networks in the Mean Field Regime [9.89901717499058]
  多層ニューラルネットワークの勾配に基づく学習力学の平均場限界を記述するための厳密なフレームワークを提案する。 我々は,任意の深さの多層ネットワークに対して,グローバル収束保証を証明した。
  論文  参考訳（メタデータ） (2020-06-16T17:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。