Fugu-MT 論文翻訳(概要): Free energy of Bayesian Convolutional Neural Network with Skip Connection

論文の概要: Free energy of Bayesian Convolutional Neural Network with Skip Connection

arxiv url: http://arxiv.org/abs/2307.01417v1
Date: Tue, 4 Jul 2023 00:48:30 GMT
ステータス: 処理完了
システム内更新日: 2023-07-06 18:48:07.812762
Title: Free energy of Bayesian Convolutional Neural Network with Skip Connection
Title（参考訳）: スキップ接続を用いたベイズ畳み込みニューラルネットワークの自由エネルギー
Authors: Shuya Nagayasu and Sumio Watanabe
Abstract要約: ベイジアン学習において,畳み込みニューラルネットワークのベイジアン自由エネルギーは,接続をスキップせずとも有効であることを示す。スキップ接続を持つベイジアンCNNの上限自由エネルギーは、オーブパラメトリゼーションに依存しず、ベイジアンCNNの一般化誤差は同様の性質を持つ。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Since the success of Residual Network(ResNet), many of architectures of Convolutional Neural Networks(CNNs) have adopted skip connection. While the generalization performance of CNN with skip connection has been explained within the framework of Ensemble Learning, the dependency on the number of parameters have not been revealed. In this paper, we show that Bayesian free energy of Convolutional Neural Network both with and without skip connection in Bayesian learning. The upper bound of free energy of Bayesian CNN with skip connection does not depend on the oveparametrization and, the generalization error of Bayesian CNN has similar property.
Abstract（参考訳）: Residual Network(ResNet)の成功以来、畳み込みニューラルネットワーク(CNN)のアーキテクチャの多くはスキップ接続を採用してきた。スイッチ接続によるCNNの一般化性能は,Ensemble Learningのフレームワークで説明されているが,パラメータ数への依存性は明らかにされていない。本稿では,ベイズ学習において,コンボリューショナルニューラルネットワークのベイズ自由エネルギーは,接続をスキップせずとも有効であることを示す。スキップ接続を持つベイジアンCNNの上限自由エネルギーは、オーブパラメトリゼーションに依存しず、ベイジアンCNNの一般化誤差は同様の性質を持つ。

関連論文リスト

CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文参考訳（メタデータ） (2024-04-23T08:19:08Z)
Basic Binary Convolution Unit for Binarized Image Restoration Network [146.0988597062618]
本研究では,画像復元作業における残差接続,BatchNorm,アクティベーション機能,構造などのバイナリ畳み込みのコンポーネントを再検討する。本研究の成果と分析に基づいて, 単純で効率的な基本二元畳み込みユニット (BBCU) を設計した。我々のBBCUは、他のBNNや軽量モデルよりも大幅に優れており、BBCUがバイナライズされたIRネットワークの基本ユニットとして機能することを示しています。
論文参考訳（メタデータ） (2022-10-02T01:54:40Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Convolutional Neural Networks Demystified: A Matched Filtering Perspective Based Tutorial [7.826806223782053]
畳み込みニューラルネットワーク(CNN)は、大量の信号や画像を分析するためのデファクト標準である。我々は、最初の原則と一致するフィルタリングの観点から、それらの操作を再考する。このチュートリアルが、深層ニューラルネットワークの理解とさらなる発展に新たな光と物理的直感をもたらすことを願っています。
論文参考訳（メタデータ） (2021-08-26T09:07:49Z)
Convolutional Neural Networks with Gated Recurrent Connections [25.806036745901114]
リカレント畳み込みニューラルネットワーク(RCNN)は、動物の視覚系における豊富なリカレント接続にインスパイアされている。本稿では、繰り返し接続にゲートを導入することにより、ニューロンの受容野(RF)を変調することを提案する。 GRCNNは、オブジェクト認識、シーンテキスト認識、オブジェクト検出などのコンピュータビジョンタスクで評価された。
論文参考訳（メタデータ） (2021-06-05T10:14:59Z)
BCNN: Binary Complex Neural Network [16.82755328827758]
バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。 BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
論文参考訳（メタデータ） (2021-03-28T03:35:24Z)
The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文参考訳（メタデータ） (2021-01-29T07:46:39Z)
Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文参考訳（メタデータ） (2020-12-10T22:30:25Z)
Ensemble learning in CNN augmented with fully connected subnetworks [0.0]
1つのベースCNNと複数のFCSNで構成されるEnsNetと呼ばれる新しいモデルを提案する。 EnsNetは、MNISTで最先端のエラー率0.16%を達成する。
論文参考訳（メタデータ） (2020-03-19T04:02:49Z)
Channel Equilibrium Networks for Learning Deep Representation [63.76618960820138]
この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
論文参考訳（メタデータ） (2020-02-29T09:02:31Z)
Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
論文参考訳（メタデータ） (2019-12-30T18:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。