論文の概要: Indeterminate Probability Neural Network
- arxiv url: http://arxiv.org/abs/2303.11536v1
- Date: Tue, 21 Mar 2023 01:57:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-03-22 16:58:12.064686
- Title: Indeterminate Probability Neural Network
- Title（参考訳）: 不確定確率ニューラルネットワーク
- Authors: Tao Yang, Chuang Liu, Xiaofeng Ma, Weijia Lu, Ning Wu, Bingyang Li,
Zhifei Yang, Peng Liu, Lin Sun, Xiaodong Zhang, Can Zhang
- Abstract要約: 本稿では,古典的確率論の拡張である新しい一般確率論を提案する。
提案するニューラルネットワークフレームワークでは,ニューラルネットワークの出力を確率事象として定義する。
例えば、100の出力ノードを持つモデルでは、100億のカテゴリを分類できる。
- 参考スコア（独自算出の注目度）: 20.993728880886994
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a new general model called IPNN - Indeterminate Probability Neural
Network, which combines neural network and probability theory together. In the
classical probability theory, the calculation of probability is based on the
occurrence of events, which is hardly used in current neural networks. In this
paper, we propose a new general probability theory, which is an extension of
classical probability theory, and makes classical probability theory a special
case to our theory. Besides, for our proposed neural network framework, the
output of neural network is defined as probability events, and based on the
statistical analysis of these events, the inference model for classification
task is deduced. IPNN shows new property: It can perform unsupervised
clustering while doing classification. Besides, IPNN is capable of making very
large classification with very small neural network, e.g. model with 100 output
nodes can classify 10 billion categories. Theoretical advantages are reflected
in experimental results.
- Abstract（参考訳）: ニューラルネットワークと確率理論を結合したipnn-不確定確率ニューラルネットワークと呼ばれる新しい一般モデルを提案する。
古典的な確率理論では、確率の計算は事象の発生に基づいているが、現在のニューラルネットワークでは使われない。
本稿では,古典的確率論の拡張である新しい一般確率論を提案し,古典的確率論を我々の理論の特別な場合とする。
また、提案するニューラルネットワークフレームワークでは、ニューラルネットワークの出力を確率イベントとして定義し、これらの事象の統計的解析に基づいて、分類タスクの推論モデルを導出する。
IPNNは、新しいプロパティを示す: 分類をしながら、教師なしのクラスタリングを実行することができる。
さらに、IPNNは、100の出力ノードを持つモデルが100億のカテゴリを分類できるなど、非常に小さなニューラルネットワークで非常に大きな分類を行うことができる。
理論的利点は実験結果に反映される。
関連論文リスト
- Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
量子離散化拡散確率モデル(QD3PM)を提案する。
これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。
本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
論文 参考訳（メタデータ） (2025-05-08T11:48:21Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Ergodic repeated interaction quantum systems: Steady states and reducibility theory [0.0]
定常分布を持つランダムな量子チャネルの列を対象とするオープン量子システムの時間進化を考察する。
反復相互作用モデルにおける様々な特定の障害モデルが検討されている。
我々は、この条件を伴わない一般的な定常ランダム反復相互作用モデルに対する再帰理論を開発する。
論文 参考訳（メタデータ） (2024-06-16T15:38:20Z) - Convergence of Continuous Normalizing Flows for Learning Probability Distributions [10.381321024264484]
連続正規化フロー (Continuous normalizing flow, CNFs) は確率分布を学習するための生成法である。
有限ランダムサンプルからの学習確率分布における線形正則性を持つCNFの理論的性質について検討する。
本稿では,速度推定,離散化誤差,早期停止誤差による誤差を包含する収束解析フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-31T03:39:04Z) - Utility-Probability Duality of Neural Networks [4.871730595406078]
本稿では,ディープラーニングにおける標準教師あり学習手順に対するユーティリティに基づく代替的説明を提案する。
基本的な考え方は、学習したニューラルネットワークを確率モデルではなく、順序付きユーティリティ関数として解釈することである。
ソフトマックス出力を持つ全てのニューラルネットワークに対して、最大推定値のSGD学習ダイナミクスを反復過程と見なすことができる。
論文 参考訳（メタデータ） (2023-05-24T08:09:07Z) - Probabilistic Modeling: Proving the Lottery Ticket Hypothesis in Spiking
Neural Network [30.924449325020767]
Lottery Ticket hypothesis (LTH) は、ランダムにdの大きいニューラルネットワークは小さなサブネットワークを含んでいると述べている。
LTHはプルーニングネットワークのための新しいパスを開く。
論文 参考訳（メタデータ） (2023-05-20T09:27:34Z) - Continuous Indeterminate Probability Neural Network [4.198538504785438]
本稿では,CIPNN-Continuous Indeterminate Probability Neural Networkと呼ばれる一般モデルを提案する。
CIPNNはIPNNをベースとしている。
そこで我々は,N次元潜在変数の1つをデコーダとして用いて,潜在確率変数を可視化する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T00:11:17Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Statistical Properties of the Entropy from Ordinal Patterns [55.551675080361335]
大規模な時系列モデルに対するエントロピー・統計複雑性の連立分布を知っていれば、今日まで利用できない統計テストが可能になるだろう。
実正規化エントロピーが零でも1でもないモデルに対して、経験的シャノンのエントロピーの分布を特徴づける。
2つの信号が同じシャノンのエントロピーを持つ順序パターンを生成するという仮説を否定するのに十分な証拠があるかどうかを検証する。
論文 参考訳（メタデータ） (2022-09-15T23:55:58Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Out of Distribution Detection, Generalization, and Robustness Triangle
with Maximum Probability Theorem [2.0654955576087084]
MPTは、モデルが確率変数に仮定する確率分布を用いて、モデルの確率の上限を与える。
我々は,MPTをCNNのトレーニングにおける正規化スキームとして組み込むことにより,コンピュータビジョンにおけるアウト・オブ・ディストリビューション(OOD)検出問題に挑戦する。
論文 参考訳（メタデータ） (2022-03-23T02:42:08Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳（メタデータ） (2021-12-02T14:45:16Z) - On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
GANが任意の確率分布を生成できるという一般的な仮定である。
GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
論文 参考訳（メタデータ） (2021-10-21T06:10:38Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳（メタデータ） (2021-10-12T02:21:30Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - PSD Representations for Effective Probability Models [117.35298398434628]
最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。
我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。
本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
論文 参考訳（メタデータ） (2021-06-30T15:13:39Z) - Probabilistic Deep Learning with Probabilistic Neural Networks and Deep
Probabilistic Models [0.6091702876917281]
確率論的深層学習には,確率論的ニューラルネットワークと深部確率論的モデルという2つのアプローチを区別する。
確率的ディープラーニング(probabilistic Deep Learning)は、モデル不確実性とデータ不確実性の両方を考慮に入れたディープラーニングである。
論文 参考訳（メタデータ） (2021-05-31T22:13:21Z) - Perceptron Theory Can Predict the Accuracy of Neural Networks [6.136302173351179]
多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。
しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。
本稿では, 1層パーセプトロンの統計的理論を開発し, 驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。
論文 参考訳（メタデータ） (2020-12-14T19:02:26Z) - An exactly solvable ansatz for statistical mechanics models [0.0]
本稿では,2次元統計力学モデルの分割関数を近似するために,「正確に解ける」確率分布の族を提案する。
分布は平均場フレームワークの厳密に外にあるが、その自由エネルギーはシステムサイズと線形にスケールする時間で計算できる。
論文 参考訳（メタデータ） (2020-10-14T22:30:22Z) - Contextuality scenarios arising from networks of stochastic processes [68.8204255655161]
経験的モデルは、その分布が X 上の合同分布を極小化することができなければ文脈的と言える。
我々は、多くのプロセス間の相互作用という、文脈的経験的モデルの異なる古典的な源泉を示す。
長期にわたるネットワークの統計的挙動は、経験的モデルを一般的な文脈的かつ強い文脈的にする。
論文 参考訳（メタデータ） (2020-06-22T16:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。