論文の概要: A Complete Characterisation of ReLU-Invariant Distributions

• arxiv url: http://arxiv.org/abs/2112.06532v1
• Date: Mon, 13 Dec 2021 10:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 19:30:13.078924
• Title: A Complete Characterisation of ReLU-Invariant Distributions
• Title（参考訳）: ReLU不変分布の完全キャラクタリゼーション
• Authors: Jan Macdonald, Stephan W\"aldchen
• Abstract要約: 以下の3つの制約のうちの少なくとも1つが満たさない限り、不変パラメトリクス族は存在しないことを証明している。 3つのケースのそれぞれに対して、制限の1つを正確に活用する不変ファミリを構築することができますが、他の2つではありません。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We give a complete characterisation of families of probability distributions that are invariant under the action of ReLU neural network layers. The need for such families arises during the training of Bayesian networks or the analysis of trained neural networks, e.g., in the context of uncertainty quantification (UQ) or explainable artificial intelligence (XAI). We prove that no invariant parametrised family of distributions can exist unless at least one of the following three restrictions holds: First, the network layers have a width of one, which is unreasonable for practical neural networks. Second, the probability measures in the family have finite support, which basically amounts to sampling distributions. Third, the parametrisation of the family is not locally Lipschitz continuous, which excludes all computationally feasible families. Finally, we show that these restrictions are individually necessary. For each of the three cases we can construct an invariant family exploiting exactly one of the restrictions but not the other two.
• Abstract（参考訳）: 本稿では、ReLUニューラルネットワーク層の作用の下で不変な確率分布の族を完全な特性化する。 このような家族の必要性は、ベイズ的ネットワークのトレーニングや、不確実性定量化(UQ)や説明可能な人工知能(XAI)といった訓練されたニューラルネットワークの分析において生じる。 我々は、以下の3つの制約のうちの少なくとも1つを満たさない限り、不変なパラメトリック分布族は存在しないことを証明している。 第二に、家族の確率測度は有限の支持を持ち、基本的にサンプリング分布に相当する。 第三に、ファミリーのパラメトリゼーションは局所リプシッツ連続ではなく、計算可能なすべての族を除外する。 最後に、これらの制限は個別に必要であることを示す。 3つのケースそれぞれについて、制限のちょうど1つを利用する不変な族を構成できるが、他の2つではない。

関連論文リスト

• Generative Conditional Distributions by Neural (Entropic) Optimal Transport [12.152228552335798]
  本稿では,条件分布の生成モデル学習を目的とした,ニューラルエントロピー最適輸送手法を提案する。 提案手法は,2つのニューラルネットワークのミニマックストレーニングに依存する。 実世界のデータセットを用いた実験では,現状条件分布学習法と比較して,アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-04T13:45:35Z)
• Differentially Private Non-convex Learning for Multi-layer Neural Networks [35.24835396398768]
  本稿では,単一出力ノードを持つ(多層)完全連結ニューラルネットワークに対する差分的タンジェント最適化の問題に焦点をあてる。 ニューラルカーネル理論の最近の進歩を利用して、サンプルサイズとネットワーク幅の両方が十分に大きい場合に、最初の過剰人口リスクを提供する。
  論文  参考訳（メタデータ） (2023-10-12T15:48:14Z)
• Numerically assisted determination of local models in network scenarios [55.2480439325792]
  統計的振る舞いを再現する明示的な局所モデルを見つけるための数値ツールを開発する。 グリーンベルガー・ホルン・ザイリンガー(GHZ)およびW分布の臨界振動性に関する予想を提供する。 開発されたコードとドキュメントは、281.com/mariofilho/localmodelsで公開されている。
  論文  参考訳（メタデータ） (2023-03-17T13:24:04Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• First Steps Toward Understanding the Extrapolation of Nonlinear Models to Unseen Domains [35.76184529520015]
  本稿では,構造的領域シフトに対する非線形モデルの外挿を解析するための最初のステップについて述べる。 我々は、$f(x)=sum f_i(x_i)$という形の非線形モデルの族が、目に見えない分布に外挿可能であることを証明した。
  論文  参考訳（メタデータ） (2022-11-21T18:41:19Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Global Convolutional Neural Processes [52.85558458799716]
  我々は,潜伏NPFにおけるSOTAログ類似化を実現するGloBal Convolutional Neural Process(GBCoNP)を構築する。 離散化された入力空間上の集合である大域的不確実性表現 p(z) を設計する。 学習した先行データは、1D、2D、新たに提案された時空間のCOVIDデータセットなど、さまざまなシナリオで分析される。
  論文  参考訳（メタデータ） (2021-09-02T03:32:50Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)
• On Sparsity in Overparametrised Shallow ReLU Networks [42.33056643582297]
  無限に広い状態であっても、限られた数のニューロンしか必要としない解を捉えるための異なる正規化戦略の能力について検討する。 オーバーパラメトリゼーションの量に関係なく、両方のスキームは、有限個のニューロンしか持たない関数によって最小化される。
  論文  参考訳（メタデータ） (2020-06-18T01:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。