論文の概要: Utility-Probability Duality of Neural Networks
- arxiv url: http://arxiv.org/abs/2305.14859v2
- Date: Thu, 25 May 2023 09:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 10:22:35.878238
- Title: Utility-Probability Duality of Neural Networks
- Title（参考訳）: ニューラルネットワークの実用可能性双対性
- Authors: Huang Bojun, Fei Yuan
- Abstract要約: 本稿では,ディープラーニングにおける標準教師あり学習手順に対するユーティリティに基づく代替的説明を提案する。
基本的な考え方は、学習したニューラルネットワークを確率モデルではなく、順序付きユーティリティ関数として解釈することである。
ソフトマックス出力を持つ全てのニューラルネットワークに対して、最大推定値のSGD学習ダイナミクスを反復過程と見なすことができる。
- 参考スコア（独自算出の注目度）: 4.871730595406078
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is typically understood that the training of modern neural networks is a
process of fitting the probability distribution of desired output. However,
recent paradoxical observations in a number of language generation tasks let
one wonder if this canonical probability-based explanation can really account
for the empirical success of deep learning.
To resolve this issue, we propose an alternative utility-based explanation to
the standard supervised learning procedure in deep learning. The basic idea is
to interpret the learned neural network not as a probability model but as an
ordinal utility function that encodes the preference revealed in training data.
In this perspective, training of the neural network corresponds to a utility
learning process. Specifically, we show that for all neural networks with
softmax outputs, the SGD learning dynamic of maximum likelihood estimation
(MLE) can be seen as an iteration process that optimizes the neural network
toward an optimal utility function. This utility-based interpretation can
explain several otherwise-paradoxical observations about the neural networks
thus trained. Moreover, our utility-based theory also entails an equation that
can transform the learned utility values back to a new kind of probability
estimation with which probability-compatible decision rules enjoy dramatic
(double-digits) performance improvements.
These evidences collectively reveal a phenomenon of utility-probability
duality in terms of what modern neural networks are (truly) modeling: We
thought they are one thing (probabilities), until the unexplainable showed up;
changing mindset and treating them as another thing (utility values) largely
reconcile the theory, despite remaining subtleties regarding its original
(probabilistic) identity.
- Abstract（参考訳）: 現代のニューラルネットワークのトレーニングは、所望の出力の確率分布に適合するプロセスであると一般的に理解されている。
しかし、多くの言語生成タスクにおける最近のパラドックス観測は、この正準確率に基づく説明がディープラーニングの実証的成功に実際に寄与するかどうか疑問視している。
そこで本研究では,ディープラーニングにおける標準教師あり学習手順に対するユーティリティベースの説明法を提案する。
基本的な考え方は、学習したニューラルネットワークを確率モデルとしてではなく、トレーニングデータに現れる好みをエンコードする順序効用関数として解釈することである。
この観点では、ニューラルネットワークのトレーニングは実用的学習プロセスに対応する。
具体的には、ソフトマックス出力を持つ全てのニューラルネットワークに対して、最大推定値(MLE)のSGD学習ダイナミクスを、ニューラルネットワークを最適なユーティリティ関数に最適化する反復過程と見なすことができる。
このユーティリティに基づく解釈は、訓練されたニューラルネットワークに関するいくつかの他のパラドックス的な観察を説明することができる。
さらに,実効性に基づく理論では,学習した公益価値を,確率互換決定規則が劇的(二桁)性能改善を享受する新しい種類の確率推定に変換できる方程式も含んでいる。
これらの証拠は、現代のニューラルネットワークが(真に)モデリングしていることの観点で、ユーティリティ・プローバビリティの双対性現象を明らかにする。我々は、説明不能な人が現れるまでは、それらは一つのもの(確率)だと考え、考え方を変えて別のもの(有効性値)として扱うことは、元の(確率的)アイデンティティに関する微妙な点が残っているにもかかわらず、理論を概ね調和させる。
関連論文リスト
- Continual learning with the neural tangent ensemble [0.6137178191238463]
Nパラメータを持つニューラルネットワークは、N分類器の重み付けアンサンブルとして解釈できることを示す。
過去のデータから各専門家の確率と後続確率を導出する。
驚くべきことに、これらの専門家の後方更新はスケール化され、予測される勾配降下と等価であることがわかった。
論文 参考訳（メタデータ） (2024-08-30T16:29:09Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - From Neurons to Neutrons: A Case Study in Interpretability [5.242869847419834]
高次元ニューラルネットワークはトレーニングデータの低次元表現を学習することができると我々は主張する。
このことは、解釈可能性に対するそのようなアプローチが、問題を解決するために訓練されたモデルから問題に対する新しい理解を導き出すのに有用であることを示している。
論文 参考訳（メタデータ） (2024-05-27T17:59:35Z) - Instance-wise Linearization of Neural Network for Model Interpretation [13.583425552511704]
この課題は、ニューラルネットワークの非線形動作に潜むことができる。
ニューラルネットワークモデルでは、非線形な振る舞いはモデルの非線形なアクティベーションユニットによって引き起こされることが多い。
本稿では,ニューラルネットワーク予測のフォワード計算過程を再構成するインスタンスワイズ線形化手法を提案する。
論文 参考訳（メタデータ） (2023-10-25T02:07:39Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Robust Generalization of Quadratic Neural Networks via Function
Identification [19.87036824512198]
一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。
2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
論文 参考訳（メタデータ） (2021-09-22T18:02:00Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Bayesian Neural Networks [0.0]
ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。
さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
論文 参考訳（メタデータ） (2020-06-02T09:43:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。