論文の概要: Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation

• arxiv url: http://arxiv.org/abs/2303.09154v1
• Date: Thu, 16 Mar 2023 08:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 16:16:57.283863
• Title: Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation
• Title（参考訳）: 概念ボトルネック構造を持つ線形ニューラルネットワークにおけるベイズ一般化誤差とマルチタスク定式化
• Authors: Naoki Hayashi, Yoshihide Sawada
• Abstract要約: 概念ボトルネックモデル (CBM) は、概念を用いてニューラルネットワークを解釈できるユビキタスな手法である。 CBMでは、出力層と最後の中間層の間に観測可能な値として概念を挿入する。 本研究では,CBMの3層線形ニューラルネットワークにおけるベイズ一般化誤差と自由エネルギーを数学的に明らかにする。
• 参考スコア（独自算出の注目度）: 0.5330240017302621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept bottleneck model (CBM) is a ubiquitous method that can interpret neural networks using concepts. In CBM, concepts are inserted between the output layer and the last intermediate layer as observable values. This helps in understanding the reason behind the outputs generated by the neural networks: the weights corresponding to the concepts from the last hidden layer to the output layer. However, it has not yet been possible to understand the behavior of the generalization error in CBM since a neural network is a singular statistical model in general. When the model is singular, a one to one map from the parameters to probability distributions cannot be created. This non-identifiability makes it difficult to analyze the generalization performance. In this study, we mathematically clarify the Bayesian generalization error and free energy of CBM when its architecture is three-layered linear neural networks. We also consider a multitask problem where the neural network outputs not only the original output but also the concepts. The results show that CBM drastically changes the behavior of the parameter region and the Bayesian generalization error in three-layered linear neural networks as compared with the standard version, whereas the multitask formulation does not.
• Abstract（参考訳）: 概念ボトルネックモデル (CBM) は、概念を用いてニューラルネットワークを解釈できるユビキタスな手法である。 CBMでは、出力層と最後の中間層の間に観測可能な値として概念を挿入する。 これは、最後の隠れた層から出力層への概念に対応する重みという、ニューラルネットワークによって生成された出力の背後にある理由を理解するのに役立つ。 しかし、ニューラルネットワークは一般に特異統計モデルであるため、cbmの一般化誤差の振る舞いを理解することはまだ不可能である。 モデルが特異であれば、パラメータから確率分布への1対1の写像は作成できない。 この非識別性は一般化性能の解析を困難にする。 本研究では,CBMの3層線形ニューラルネットワークにおけるベイズ一般化誤差と自由エネルギーを数学的に明らかにする。 また、ニューラルネットワークが元の出力だけでなく、概念も出力するマルチタスク問題も検討する。 その結果、CBMは3層線形ニューラルネットワークにおけるパラメータ領域の挙動とベイズ一般化誤差を標準モデルと比較して劇的に変化させるが、マルチタスクの定式化は行わない。

関連論文リスト

• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• Non-Vacuous Generalisation Bounds for Shallow Neural Networks [5.799808780731661]
  我々は、単一の隠蔽層を持つ特定の種類の浅いニューラルネットワークに焦点を当てる。 我々はPAC-ベイジアン理論を通じて新しい一般化を導出する。 ネットワークがMNISTとFashion-MNISTのバニラ勾配勾配降下で訓練される場合,我々の限界は経験的に非空洞である。
  論文  参考訳（メタデータ） (2022-02-03T14:59:51Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation [8.238238958749134]
  プルーニングニューラルネットワークの評価と緩和に関する現在の文献には明確なギャップがある。 本稿では,CEV(Combined Error Variance)とSDE(Symmetric Distance Error)の2つの簡易かつ効果的な指標を提案する。 第二に、知識蒸留は、不均衡なデータセットであっても、刈り取られたニューラルネットワークにおける誘導バイアスを軽減することができることを実証する。 第3に、モデル類似性はプルーニング誘起バイアスと強い相関関係があることを明らかにし、なぜプルーニングニューラルネットワークでバイアスが発生するのかを説明する強力な方法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T02:59:32Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。