論文の概要: Mini-ResEmoteNet: Leveraging Knowledge Distillation for Human-Centered Design
- arxiv url: http://arxiv.org/abs/2501.18538v1
- Date: Thu, 30 Jan 2025 18:06:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:14:52.886095
- Title: Mini-ResEmoteNet: Leveraging Knowledge Distillation for Human-Centered Design
- Title（参考訳）: Mini-ResEmoteNet:人間中心設計のための知識蒸留の活用
- Authors: Amna Murtada, Omnia Abdelrhman, Tahani Abdalla Attia,
- Abstract要約: Mini-ResEmoteNetモデルは、ユーザビリティテストに適した軽量の学生モデルである。
開発には教師モデルの各層における特徴チャネルの数を約50%、75%、87.5%削減することが含まれる。
学生モデルA(E1)は76.33%の精度を達成し、EmoNeXtよりも0.21%改善した。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Facial Emotion Recognition has emerged as increasingly pivotal in the domain of User Experience, notably within modern usability testing, as it facilitates a deeper comprehension of user satisfaction and engagement. This study aims to extend the ResEmoteNet model by employing a knowledge distillation framework to develop Mini-ResEmoteNet models - lightweight student models - tailored for usability testing. Experiments were conducted on the FER2013 and RAF-DB datasets to assess the efficacy of three student model architectures: Student Model A, Student Model B, and Student Model C. Their development involves reducing the number of feature channels in each layer of the teacher model by approximately 50%, 75%, and 87.5%. Demonstrating exceptional performance on the FER2013 dataset, Student Model A (E1) achieved a test accuracy of 76.33%, marking a 0.21% absolute improvement over EmoNeXt. Moreover, the results exhibit absolute improvements in terms of inference speed and memory usage during inference compared to the ResEmoteNet model. The findings indicate that the proposed methods surpass other state-of-the-art approaches.
- Abstract（参考訳）: 顔の感情認識は、ユーザー満足度とエンゲージメントの深い理解を促進するため、ユーザーエクスペリエンスの領域、特に現代のユーザビリティテストにおいて、ますます重要になってきています。
本研究では,Mini-ResEmoteNetモデルを開発するために知識蒸留フレームワークを用いてResEmoteNetモデルを拡張することを目的としている。
FER2013およびRAF-DBデータセットを用いて、学生モデルA、学生モデルB、学生モデルCの3つのモデルアーキテクチャの有効性を評価する実験を行った。
FER2013データセットにおける例外的な性能を示すために、学生モデルA(E1)は76.33%の精度を達成し、EmoNeXtに対する0.21%の絶対的な改善を達成した。
さらに、ResEmoteNetモデルと比較して、推論速度と推論時のメモリ使用量において絶対的な改善が見られた。
その結果,提案手法が他の最先端手法を超越していることが示唆された。
関連論文リスト
- Improvement in Facial Emotion Recognition using Synthetic Data Generated by Diffusion Model [2.205257684291835]
顔の感情認識(FER)は、コンピュータビジョンにおいて重要な役割を担い、人間とコンピュータの相互作用、感情コンピューティング、メンタルヘルスモニタリングやパーソナライズされた学習環境などの分野に重要な応用がある。
FERタスクにおける大きな課題は、利用可能なデータセットで一般的に見られるクラス不均衡であり、モデルパフォーマンスと一般化の両方を妨げる可能性がある。
我々は、合成データ拡張とResEmoteNetモデルを活用して、顔の感情認識タスクにおける全体的なパフォーマンスを向上させることで、データ不均衡の問題に取り組む。
論文 参考訳（メタデータ） (2024-11-16T19:01:50Z) - The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。
TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。
本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
論文 参考訳（メタデータ） (2024-11-11T18:59:45Z) - CLDA: Collaborative Learning for Enhanced Unsupervised Domain Adaptation [15.97351561456467]
コラボレーティブ・ラーニング(Collaborative Learning)とは、学生モデルを用いて教師の非塩分パラメータを更新し、同時に生徒のパフォーマンスを向上させる手法である。
CLDAは、教師の+0.7% mIoUと生徒の+1.4% mIoUを、GTAのベースラインモデルとシティスケープのベースラインモデルに比較して改善する。
論文 参考訳（メタデータ） (2024-09-04T13:35:15Z) - PaCKD: Pattern-Clustered Knowledge Distillation for Compressing Memory
Access Prediction Models [2.404163279345609]
PaCKDはMAPモデルを圧縮するためのパターンクラスタ化知識蒸留手法である。
PaCKDは、標準的な知識蒸留で訓練された学生モデルよりも8.70%高い結果を得る。
論文 参考訳（メタデータ） (2024-02-21T00:24:34Z) - Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments [4.541309099803903]
本研究では,超微調整大言語モデル(LLM)の知識蒸留(KD)手法を提案する。
リソース制約のあるデバイスにこれらのモデルをデプロイするという課題を特にターゲットとしています。
論文 参考訳（メタデータ） (2023-12-26T01:24:25Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2023-07-25T19:03:21Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳（メタデータ） (2023-01-27T22:04:37Z) - Learning Diversified Feature Representations for Facial Expression
Recognition in the Wild [97.14064057840089]
本稿では,CNN層が抽出した顔表情認識アーキテクチャの特徴を多様化する機構を提案する。
AffectNet,FER+,RAF-DBの3つの顔表情認識実験の結果,本手法の有効性が示された。
論文 参考訳（メタデータ） (2022-10-17T19:25:28Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-07T02:12:34Z) - Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。
蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。
ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
論文 参考訳（メタデータ） (2021-06-09T17:20:40Z) - Online Knowledge Distillation via Multi-branch Diversity Enhancement [15.523646047674717]
複数の学生モデル間の多様性を高めるため,新しい蒸留法を提案する。
ネットワークにおけるアテンション機構の性能を向上させる機能融合モジュール(FFM)を用いる。
また,学生モデルの違いを強化するために,多変量化(CD)損失関数を用いた。
論文 参考訳（メタデータ） (2020-10-02T05:52:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。