論文の概要: Stochastic Surprisal: An inferential measurement of Free Energy in Neural Networks

• arxiv url: http://arxiv.org/abs/2302.05776v1
• Date: Sat, 11 Feb 2023 20:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 18:44:53.076876
• Title: Stochastic Surprisal: An inferential measurement of Free Energy in Neural Networks
• Title（参考訳）: 確率的超越:ニューラルネットワークにおける自由エネルギーの予測的測定
• Authors: Mohit Prabhushankar and Ghassan AlRegib
• Abstract要約: 本稿では、教師付きニューラルネットワークにおける推論中の動作を可能にするフレームワークを推測し、検証する。 本稿では,ネットワーク,入力,および可能な動作の関数であるsusprisalと呼ばれる新しい測定方法を提案する。 ノイズ特性は頑健な認識のために無視されるが、品質スコアを推定するために分析されることが示されている。
• 参考スコア（独自算出の注目度）: 18.32369721322249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper conjectures and validates a framework that allows for action during inference in supervised neural networks. Supervised neural networks are constructed with the objective to maximize their performance metric in any given task. This is done by reducing free energy and its associated surprisal during training. However, the bottom-up inference nature of supervised networks is a passive process that renders them fallible to noise. In this paper, we provide a thorough background of supervised neural networks, both generative and discriminative, and discuss their functionality from the perspective of free energy principle. We then provide a framework for introducing action during inference. We introduce a new measurement called stochastic surprisal that is a function of the network, the input, and any possible action. This action can be any one of the outputs that the neural network has learnt, thereby lending stochasticity to the measurement. Stochastic surprisal is validated on two applications: Image Quality Assessment and Recognition under noisy conditions. We show that, while noise characteristics are ignored to make robust recognition, they are analyzed to estimate image quality scores. We apply stochastic surprisal on two applications, three datasets, and as a plug-in on twelve networks. In all, it provides a statistically significant increase among all measures. We conclude by discussing the implications of the proposed stochastic surprisal in other areas of cognitive psychology including expectancy-mismatch and abductive reasoning.
• Abstract（参考訳）: 本稿では,教師付きニューラルネットワークにおける推論中の動作を可能にするフレームワークを推測し,検証する。 教師付きニューラルネットワークは、任意のタスクにおけるパフォーマンスメトリックを最大化する目的で構築される。 これは、訓練中に自由エネルギーとその関連する前提を減少させることによって行われる。 しかし、教師付きネットワークのボトムアップ推論特性は受動的プロセスであり、ノイズに悪影響を及ぼす。 本稿では,生成と識別の両面で,教師付きニューラルネットワークの詳細な背景を提供し,自由エネルギー原理の観点からそれらの機能について議論する。 次に、推論中にアクションを導入するためのフレームワークを提供します。 本稿では,ネットワーク,入力,および可能な動作の関数である確率推定と呼ばれる新しい測定手法を提案する。 この動作は、ニューラルネットワークが学習した出力のいずれかであり、それによって測定に確率性を与える。 確率的超越性は, 雑音下での画質評価と認識の2つの応用で検証される。 ノイズ特性は頑健な認識のために無視されるが,画像品質スコアを推定するために解析される。 2つのアプリケーション、3つのデータセット、および12のネットワーク上のプラグインに確率的超越を適用する。 総じて、すべての指標の中で統計的に有意な増加をもたらす。 予測ミスマッチや帰納的推論など,認知心理学の他の領域における確率的先入観の影響について論じる。

関連論文リスト

• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• Approximating nonlinear functions with latent boundaries in low-rank excitatory-inhibitory spiking networks [5.955727366271805]
  スパイクに基づく興奮抑制スパイクネットワークのための新しいフレームワークを考案した。 本研究は,生体スパイクに基づく計算の力学的理解の出発点となるスパイクネットワークの新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-18T15:17:00Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Neural Bayesian Network Understudy [13.28673601999793]
  ニューラルネットワークは条件付き確率を出力するように訓練でき、ベイズネットワークとほぼ同じ機能を提供する。 ニューラルネットワークに与えられた因果構造から推定される独立関係を符号化する2つのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-15T15:56:51Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Analytically Tractable Hidden-States Inference in Bayesian Neural Networks [0.0]
  本稿では, ガウス推定能力(TAGI)を活用して隠れ状態の推測を行う方法を示す。 その新しい側面の一つは、特定の目的を達成するために設計された制約を付与することで隠れた状態を推論することである。
  論文  参考訳（メタデータ） (2021-07-08T11:11:25Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。