論文の概要: Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation

• arxiv url: http://arxiv.org/abs/2303.09154v1
• Date: Thu, 16 Mar 2023 08:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 16:16:57.283863
• Title: Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation
• Title（参考訳）: 概念ボトルネック構造を持つ線形ニューラルネットワークにおけるベイズ一般化誤差とマルチタスク定式化
• Authors: Naoki Hayashi, Yoshihide Sawada
• Abstract要約: 概念ボトルネックモデル (CBM) は、概念を用いてニューラルネットワークを解釈できるユビキタスな手法である。 CBMでは、出力層と最後の中間層の間に観測可能な値として概念を挿入する。 本研究では,CBMの3層線形ニューラルネットワークにおけるベイズ一般化誤差と自由エネルギーを数学的に明らかにする。
• 参考スコア（独自算出の注目度）: 0.5330240017302621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept bottleneck model (CBM) is a ubiquitous method that can interpret neural networks using concepts. In CBM, concepts are inserted between the output layer and the last intermediate layer as observable values. This helps in understanding the reason behind the outputs generated by the neural networks: the weights corresponding to the concepts from the last hidden layer to the output layer. However, it has not yet been possible to understand the behavior of the generalization error in CBM since a neural network is a singular statistical model in general. When the model is singular, a one to one map from the parameters to probability distributions cannot be created. This non-identifiability makes it difficult to analyze the generalization performance. In this study, we mathematically clarify the Bayesian generalization error and free energy of CBM when its architecture is three-layered linear neural networks. We also consider a multitask problem where the neural network outputs not only the original output but also the concepts. The results show that CBM drastically changes the behavior of the parameter region and the Bayesian generalization error in three-layered linear neural networks as compared with the standard version, whereas the multitask formulation does not.
• Abstract（参考訳）: 概念ボトルネックモデル (CBM) は、概念を用いてニューラルネットワークを解釈できるユビキタスな手法である。 CBMでは、出力層と最後の中間層の間に観測可能な値として概念を挿入する。 これは、最後の隠れた層から出力層への概念に対応する重みという、ニューラルネットワークによって生成された出力の背後にある理由を理解するのに役立つ。 しかし、ニューラルネットワークは一般に特異統計モデルであるため、cbmの一般化誤差の振る舞いを理解することはまだ不可能である。 モデルが特異であれば、パラメータから確率分布への1対1の写像は作成できない。 この非識別性は一般化性能の解析を困難にする。 本研究では,CBMの3層線形ニューラルネットワークにおけるベイズ一般化誤差と自由エネルギーを数学的に明らかにする。 また、ニューラルネットワークが元の出力だけでなく、概念も出力するマルチタスク問題も検討する。 その結果、CBMは3層線形ニューラルネットワークにおけるパラメータ領域の挙動とベイズ一般化誤差を標準モデルと比較して劇的に変化させるが、マルチタスクの定式化は行わない。

関連論文リスト

• Upper Bound of Bayesian Generalization Error in Partial Concept Bottleneck Model (CBM): Partial CBM outperforms naive CBM [0.21485350418225244]
  概念ボトルネックモデル(Concept Bottleneck Model, CBM)は、ニューラルネットワークを説明する手法である。 部分的なCBM(PCBM)は部分的に観察された概念を使用する。 本稿では,PCBMにおけるベイズ一般化誤差を3層線形アーキテクチャで明らかにする。
  論文  参考訳（メタデータ） (2024-03-14T09:19:50Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation [8.238238958749134]
  プルーニングニューラルネットワークの評価と緩和に関する現在の文献には明確なギャップがある。 本稿では,CEV(Combined Error Variance)とSDE(Symmetric Distance Error)の2つの簡易かつ効果的な指標を提案する。 第二に、知識蒸留は、不均衡なデータセットであっても、刈り取られたニューラルネットワークにおける誘導バイアスを軽減することができることを実証する。 第3に、モデル類似性はプルーニング誘起バイアスと強い相関関係があることを明らかにし、なぜプルーニングニューラルネットワークでバイアスが発生するのかを説明する強力な方法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T02:59:32Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。