論文の概要: Efficient Facial Feature Learning with Wide Ensemble-based Convolutional
Neural Networks
- arxiv url: http://arxiv.org/abs/2001.06338v1
- Date: Fri, 17 Jan 2020 14:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 09:50:32.512771
- Title: Efficient Facial Feature Learning with Wide Ensemble-based Convolutional
Neural Networks
- Title(参考訳): 広帯域畳み込みニューラルネットワークを用いた効率的な顔特徴学習
- Authors: Henrique Siqueira, Sven Magg and Stefan Wermter
- Abstract要約: 畳み込みネットワークに基づく共有表現を用いたアンサンブル実験について述べる。
本研究では,ESRの分岐レベルを変化させることで,冗長性と計算負荷を劇的に低減できることを示す。
大規模なデータセットの実験では、ESRは残余の一般化誤差を減らすことが示唆されている。
- 参考スコア(独自算出の注目度): 20.09586211332088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensemble methods, traditionally built with independently trained
de-correlated models, have proven to be efficient methods for reducing the
remaining residual generalization error, which results in robust and accurate
methods for real-world applications. In the context of deep learning, however,
training an ensemble of deep networks is costly and generates high redundancy
which is inefficient. In this paper, we present experiments on Ensembles with
Shared Representations (ESRs) based on convolutional networks to demonstrate,
quantitatively and qualitatively, their data processing efficiency and
scalability to large-scale datasets of facial expressions. We show that
redundancy and computational load can be dramatically reduced by varying the
branching level of the ESR without loss of diversity and generalization power,
which are both important for ensemble performance. Experiments on large-scale
datasets suggest that ESRs reduce the remaining residual generalization error
on the AffectNet and FER+ datasets, reach human-level performance, and
outperform state-of-the-art methods on facial expression recognition in the
wild using emotion and affect concepts.
- Abstract(参考訳): 伝統的に独立に訓練されたde-correlatedモデルで構築されたアンサンブル法は、残余の一般化誤差を減らす効率的な方法であることが証明されており、実世界のアプリケーションに対して堅牢で正確な方法をもたらす。
しかし、ディープラーニングの文脈では、深層ネットワークのアンサンブルの訓練はコストがかかり、非効率な高い冗長性を生成する。
本稿では,畳み込みネットワークに基づく共有表現(esr)を用いたアンサンブルの実験を行い,そのデータ処理効率と顔表情の大規模データセットへの拡張性を示す。
本研究では,ESRの分岐レベルを多様性や一般化力を損なうことなく変化させることで,冗長性と計算負荷を劇的に低減できることを示す。
大規模なデータセットの実験では、ESRはAffectNetとFER+データセットの残余の一般化誤差を低減し、人間レベルのパフォーマンスに達し、感情と影響概念を用いて野生の表情認識における最先端の手法より優れていることが示唆されている。
関連論文リスト
- Estimation of individual causal effects in network setup for multiple
treatments [4.53340898566495]
個別治療効果 (ITE) の推定問題について, 複数の治療と観察データを用いて検討した。
我々は、共同創設者の共有表現を学ぶために、Graph Convolutional Networks(GCN)を採用しています。
アプローチでは、個別のニューラルネットワークを使用して、各治療の潜在的な結果を推測する。
論文 参考訳(メタデータ) (2023-12-18T06:07:45Z) - Random Linear Projections Loss for Hyperplane-Based Optimization in
Neural Networks [25.11790930679232]
この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。
ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
論文 参考訳(メタデータ) (2023-11-21T05:22:39Z) - Diversified Ensemble of Independent Sub-Networks for Robust
Self-Supervised Representation Learning [10.784911682565879]
ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。
独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。
提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
論文 参考訳(メタデータ) (2023-08-28T16:58:44Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Personalized Decentralized Multi-Task Learning Over Dynamic
Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。
本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。
合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文 参考訳(メタデータ) (2022-12-21T18:58:24Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳(メタデータ) (2021-08-03T19:24:25Z) - Learning a Domain-Agnostic Visual Representation for Autonomous Driving
via Contrastive Loss [25.798361683744684]
ドメイン認識コントラスト学習(Domain-Agnostic Contrastive Learning、DACL)は、2段階の非監視ドメイン適応フレームワークである。
提案手法は,従来の最新手法に比べ,単眼深度推定作業における性能向上を実現した。
論文 参考訳(メタデータ) (2021-03-10T07:06:03Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-09T11:27:14Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。