論文の概要: ReLU Networks as Random Functions: Their Distribution in Probability Space

• arxiv url: http://arxiv.org/abs/2503.22082v1
• Date: Fri, 28 Mar 2025 01:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:28:45.491936
• Title: ReLU Networks as Random Functions: Their Distribution in Probability Space
• Title（参考訳）: ランダム関数としてのReLUネットワーク:確率空間における分布
• Authors: Shreyas Chaudhari, José M. F. Moura,
• Abstract要約: 本稿では,訓練されたReLUネットワークをランダムなアフィン関数として理解するための新しいフレームワークを提案する。 ネットワークによって実現可能なアフィン関数上の離散確率分布を導出する。 我々の研究は、ReLUネットワークの動作と性能を理解するためのフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 13.408904884821903
• License:
• Abstract: This paper presents a novel framework for understanding trained ReLU networks as random, affine functions, where the randomness is induced by the distribution over the inputs. By characterizing the probability distribution of the network's activation patterns, we derive the discrete probability distribution over the affine functions realizable by the network. We extend this analysis to describe the probability distribution of the network's outputs. Our approach provides explicit, numerically tractable expressions for these distributions in terms of Gaussian orthant probabilities. Additionally, we develop approximation techniques to identify the support of affine functions a trained ReLU network can realize for a given distribution of inputs. Our work provides a framework for understanding the behavior and performance of ReLU networks corresponding to stochastic inputs, paving the way for more interpretable and reliable models.
• Abstract（参考訳）: 本稿では,学習されたReLUネットワークをランダムなアフィン関数として理解するための新しいフレームワークを提案する。 ネットワークのアクティベーションパターンの確率分布を特徴付けることにより,ネットワークによって実現可能なアフィン関数上の離散確率分布を導出する。 この分析を拡張して、ネットワークの出力の確率分布を記述する。 我々のアプローチは、ガウスのオーサント確率の観点から、これらの分布に対して明示的かつ数値的に抽出可能な表現を提供する。 さらに、トレーニングされたReLUネットワークが入力の所定の分布に対して実現できるアフィン関数のサポートを特定する近似手法を開発した。 我々の研究は、確率的入力に対応するReLUネットワークの動作と性能を理解するためのフレームワークを提供し、より解釈可能で信頼性の高いモデルへの道を開く。

関連論文リスト

• Generative Assignment Flows for Representing and Learning Joint Distributions of Discrete Data [2.6499018693213316]
  離散確率変数の結合確率分布の表現のための新しい生成モデルを提案する。 このアプローチでは、分解分布の統計部分多様体上のランダム化代入フローによる測度輸送を用いる。
  論文  参考訳（メタデータ） (2024-06-06T21:58:33Z)
• Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
  本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。 提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T09:40:19Z)
• Distributional GFlowNets with Quantile Flows [73.73721901056662]
  Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。 本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。 GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
  論文  参考訳（メタデータ） (2023-02-11T22:06:17Z)
• Probabilistic Verification of ReLU Neural Networks via Characteristic Functions [11.489187712465325]
  我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。 我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。 出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
  論文  参考訳（メタデータ） (2022-12-03T05:53:57Z)
• Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
  本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。 正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。 単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
  論文  参考訳（メタデータ） (2022-03-29T12:34:43Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• GFlowNet Foundations [66.69854262276391]
  Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。 GFlowNetのさらなる理論的性質について述べる。
  論文  参考訳（メタデータ） (2021-11-17T17:59:54Z)
• Goal-oriented adaptive sampling under random field modelling of response probability distributions [0.6445605125467573]
  応答分布の空間的変動がそれらの平均および/または分散だけでなく、例えば、形状や一様性、多様性などを含む他の特徴も考慮する。 我々の貢献は、それによって引き起こされる確率分布の場をモデル化する非パラメトリックベイズアプローチに基づいている。
  論文  参考訳（メタデータ） (2021-02-15T15:55:23Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。