論文の概要: A Distillation Learning Model of Adaptive Structural Deep Belief Network
for AffectNet: Facial Expression Image Database
- arxiv url: http://arxiv.org/abs/2110.12717v1
- Date: Mon, 25 Oct 2021 08:01:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 17:43:51.218022
- Title: A Distillation Learning Model of Adaptive Structural Deep Belief Network
for AffectNet: Facial Expression Image Database
- Title（参考訳）: AffectNetのための適応構造深層ネットワークの蒸留学習モデル:顔表情画像データベース
- Authors: Takumi Ichimura, Shin Kamada
- Abstract要約: 我々は,Deep Belief Network (DBN) の適応型構造学習法を開発した。
本稿では,表情画像データセットであるAffectNetに適用する。
分類精度は78.4%から91.3%に向上した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Learning has a hierarchical network architecture to represent the
complicated feature of input patterns. We have developed the adaptive structure
learning method of Deep Belief Network (DBN) that can discover an optimal
number of hidden neurons for given input data in a Restricted Boltzmann Machine
(RBM) by neuron generation-annihilation algorithm, and can obtain the
appropriate number of hidden layers in DBN. In this paper, our model is applied
to a facial expression image data set, AffectNet. The system has higher
classification capability than the traditional CNN. However, our model was not
able to classify some test cases correctly because human emotions contain many
ambiguous features or patterns leading wrong answer by two or more annotators
who have different subjective judgment for a facial image. In order to
represent such cases, this paper investigated a distillation learning model of
Adaptive DBN. The original trained model can be seen as a parent model and some
child models are trained for some mis-classified cases. For the difference
between the parent model and the child one, KL divergence is monitored and then
some appropriate new neurons at the parent model are generated according to KL
divergence to improve classification accuracy. In this paper, the
classification accuracy was improved from 78.4% to 91.3% by the proposed
method.
- Abstract（参考訳）: Deep Learningには、入力パターンの複雑な特徴を表現する階層的なネットワークアーキテクチャがある。
我々は、ニューロン生成消滅アルゴリズムにより、制限ボルツマンマシン(RBM)において、与えられた入力データに対して最適な隠れニューロン数を発見できるDeep Belief Network(DBN)の適応的構造学習法を開発し、DBN内の隠蔽層数を適切に得ることができる。
本稿では,表情画像データセットであるAffectNetに適用する。
このシステムは従来のCNNよりも高い分類能力を持つ。
しかし, 顔画像の主観的判断が異なる2つ以上のアノテータによって, 人間の感情には多くの曖昧な特徴やパターンが含まれているため, テストケースを正しく分類できなかった。
そこで本研究では, 適応DBNの蒸留学習モデルについて検討した。
元の訓練されたモデルは親モデルと見なすことができ、いくつかの子モデルはいくつかの誤分類ケースのために訓練される。
親モデルと子モデルの違いについては、KL偏差をモニタし、KL偏差に基づいて親モデルにおける適切な新しいニューロンを生成し、分類精度を向上させる。
本研究では,提案手法により,分類精度が78.4%から91.3%に向上した。
関連論文リスト
- Neural Lineage [56.34149480207817]
本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。
実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。
精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
論文 参考訳（メタデータ） (2024-06-17T01:11:53Z) - BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。
我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。
提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
論文 参考訳（メタデータ） (2024-03-23T08:40:38Z) - On the Steganographic Capacity of Selected Learning Models [1.0640226829362012]
本稿では,学習モデルの聴取能力について考察する。
幅広いモデルに対して、上書き可能な低次ビットの数を決定する。
テスト対象モデルのうち, LR実験では7.04KB, InceptionV3では44.74MBであった。
論文 参考訳（メタデータ） (2023-08-29T10:41:34Z) - Steganographic Capacity of Deep Learning Models [12.974139332068491]
いくつかの学習モデルのステガノグラフィー能力について考察する。
我々は,難解なマルウェア分類問題に対して,多層パーセプトロン(MLP),畳み込みニューラルネットワーク(CNN),トランスフォーマーモデルを訓練する。
テストした学習モデルのステガノグラフィー能力は驚くほど高く,いずれの場合も,モデル性能が急速に低下する明確なしきい値が存在することがわかった。
論文 参考訳（メタデータ） (2023-06-25T13:43:35Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳（メタデータ） (2023-05-28T05:38:28Z) - Multiclass Semantic Segmentation to Identify Anatomical Sub-Regions of
Brain and Measure Neuronal Health in Parkinson's Disease [2.288652563296735]
現在、脳の解剖下領域を分析して2次元の組織像を分析する機械学習モデルは利用できない。
本研究では,Nissl/HaematoxylinおよびTyrosine hydroxylase酵素(TH,ドーパミン作動性ニューロンの生存率の指標)で染色した約1000個のアノテート2次元脳画像を用いて,ベストフィットモデルを訓練した。
このモデルは、すべての画像において2つのサブリージョンコンパクト(SNCD)とレチキュラタ(SNr)を効果的に検出できる。
論文 参考訳（メタデータ） (2023-01-07T19:35:28Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Multi network InfoMax: A pre-training method involving graph
convolutional networks [0.0]
本稿では,グラフ畳み込み/ニューラルネットワーク(GCN/GNN)を含む事前学習手法を提案する。
学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンス向上に役立つ。
我々は、被験者を健康管理群(HC)と統合失調症群(SZ)に分類するための神経画像データセットに適用した。
論文 参考訳（メタデータ） (2021-11-01T21:53:20Z) - An Embedded System for Image-based Crack Detection by using Fine-Tuning
model of Adaptive Structural Learning of Deep Belief Network [0.0]
Restricted Boltzmann Machine (Adaptive RBM) と Deep Belief Network (Adaptive DBN) の適応型構造学習法を開発した。
本手法は,具体的な画像ベンチマークデータセットであるSDNET 2018を用いてき裂検出を行った。
本稿では,提案するAdaptive DBNを,ドローン上でのリアルタイム推論のためのGPUを備えた小型PCに埋め込んだ。
論文 参考訳（メタデータ） (2021-10-25T07:28:50Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - How do Decisions Emerge across Layers in Neural Models? Interpretation
with Differentiable Masking [70.92463223410225]
DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。
入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。
これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
論文 参考訳（メタデータ） (2020-04-30T17:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。