論文の概要: Bayesian Neural Networks Avoid Encoding Complex and Perturbation-Sensitive Concepts

• arxiv url: http://arxiv.org/abs/2302.13095v2
• Date: Fri, 1 Dec 2023 12:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 19:07:15.063270
• Title: Bayesian Neural Networks Avoid Encoding Complex and Perturbation-Sensitive Concepts
• Title（参考訳）: 複雑な摂動知覚概念の符号化を避けるベイズニューラルネットワーク
• Authors: Qihan Ren, Huiqi Deng, Yunuo Chen, Siyu Lou, Quanshi Zhang
• Abstract要約: 本稿では,平均場変動ベイズニューラルネットワーク(BNN)に着目し,そのようなBNNの表現能力について検討する。 十分に訓練されたニューラルネットワークの知識表現において、比較的小さなインタラクティブな概念セットが出現することが観察され、研究されている。 我々の研究は、標準的なディープニューラルネットワーク(DNN)と比較して、BNNが複雑な概念をエンコードする可能性は低いことを証明している。
• 参考スコア（独自算出の注目度）: 22.873523599349326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we focus on mean-field variational Bayesian Neural Networks (BNNs) and explore the representation capacity of such BNNs by investigating which types of concepts are less likely to be encoded by the BNN. It has been observed and studied that a relatively small set of interactive concepts usually emerge in the knowledge representation of a sufficiently-trained neural network, and such concepts can faithfully explain the network output. Based on this, our study proves that compared to standard deep neural networks (DNNs), it is less likely for BNNs to encode complex concepts. Experiments verify our theoretical proofs. Note that the tendency to encode less complex concepts does not necessarily imply weak representation power, considering that complex concepts exhibit low generalization power and high adversarial vulnerability. The code is available at https://github.com/sjtu-xai-lab/BNN-concepts.
• Abstract（参考訳）: 本稿では,平均場変動型ベイズニューラルネットワーク(BNN)に着目し,BNNで符号化される可能性の低い概念を探索することにより,BNNの表現能力について検討する。 比較的小さな対話的概念のセットは、十分に訓練されたニューラルネットワークの知識表現の中に出現し、そのような概念はネットワーク出力を忠実に説明できる。 これに基づいて、我々の研究は、標準的なディープニューラルネットワーク(DNN)と比較して、BNNが複雑な概念をエンコードする可能性は低いことを証明した。 実験は我々の理論的証明を検証する。 より複雑な概念を符号化する傾向が必ずしも表現力の弱さを示唆するわけではないことに注意。 コードはhttps://github.com/sjtu-xai-lab/bnn-conceptsで入手できる。

関連論文リスト

• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• A Primer on Bayesian Neural Networks: Review and Debates [10.074350562162921]
  ベイズニューラルネットワーク(BNN)は、従来のニューラルネットワークの魅力的な拡張として登場した。 このプライマーは、ニューラルネットワークとベイズ推論の基本概念を体系的に紹介する。 対象者はベイズ的手法の潜在的な背景を持つ統計学者であるが、ディープラーニングの専門知識は欠如している。
  論文  参考訳（メタデータ） (2023-09-28T10:09:15Z)
• Explaining Generalization Power of a DNN Using Interactive Concepts [24.712192363947096]
  本稿では,ディープニューラルネットワーク(DNN)の一般化能力について,インタラクションの観点から説明する。 また,複雑な概念の学習困難さと,複雑な概念の一般化能力の低さを説明している。
  論文  参考訳（メタデータ） (2023-02-25T14:44:40Z)
• Does a Neural Network Really Encode Symbolic Concepts? [24.099892982101398]
  本稿では,インタラクション概念の信頼性を4つの観点から検討する。 広範囲にわたる実証研究により、よく訓練されたDNNは、通常スパース、転送可能、差別的な概念を符号化することを示した。
  論文  参考訳（メタデータ） (2023-02-25T13:58:37Z)
• Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
  本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。 本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。 我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
  論文  参考訳（メタデータ） (2022-10-02T01:54:40Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• BCNN: Binary Complex Neural Network [16.82755328827758]
  バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。 本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。 BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
  論文  参考訳（メタデータ） (2021-03-28T03:35:24Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。