論文の概要: SGED: A Benchmark dataset for Performance Evaluation of Spiking Gesture
Emotion Recognition
- arxiv url: http://arxiv.org/abs/2304.14714v1
- Date: Fri, 28 Apr 2023 09:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 14:46:42.954133
- Title: SGED: A Benchmark dataset for Performance Evaluation of Spiking Gesture
Emotion Recognition
- Title(参考訳): SGED:スパイキングジェスチャー感情認識の性能評価のためのベンチマークデータセット
- Authors: Binqiang Wang and Gang Dong and Yaqian Zhao and Rengang Li and Lu Cao
and Lihua Lu
- Abstract要約: 我々は、既存のデータセットの分析に基づいて、新しい同質なマルチモーダルジェスチャー感情認識データセットをラベル付けする。
本稿では,このデータセットに基づく擬似二重フローネットワークを提案し,このデータセットの適用可能性を検証する。
- 参考スコア(独自算出の注目度): 12.396844568607522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of affective computing, researchers in the community have
promoted the performance of models and algorithms by using the complementarity
of multimodal information. However, the emergence of more and more modal
information makes the development of datasets unable to keep up with the
progress of existing modal sensing equipment. Collecting and studying
multimodal data is a complex and significant work. In order to supplement the
challenge of partial missing of community data. We collected and labeled a new
homogeneous multimodal gesture emotion recognition dataset based on the
analysis of the existing data sets. This data set complements the defects of
homogeneous multimodal data and provides a new research direction for emotion
recognition. Moreover, we propose a pseudo dual-flow network based on this
dataset, and verify the application potential of this dataset in the affective
computing community. The experimental results demonstrate that it is feasible
to use the traditional visual information and spiking visual information based
on homogeneous multimodal data for visual emotion recognition.The dataset is
available at \url{https://github.com/201528014227051/SGED}
- Abstract(参考訳): 情緒的コンピューティングの分野では、コミュニティの研究者がマルチモーダル情報の相補性を用いてモデルとアルゴリズムのパフォーマンスを奨励している。
しかし、より多くのモーダル情報の出現により、既存のモーダルセンシング機器の進歩に追従できないデータセットの開発が進む。
マルチモーダルデータの収集と研究は複雑で重要な作業である。
コミュニティデータの部分的欠落の課題を補うために。
既存のデータセットの分析に基づいて,新しい均質なマルチモーダルジェスチャ感情認識データセットを収集,ラベル付けした。
このデータセットは、均質なマルチモーダルデータの欠陥を補完し、感情認識のための新しい研究方向を提供する。
さらに,このデータセットに基づく疑似デュアルフローネットワークを提案し,情緒的コンピューティングコミュニティにおけるこのデータセットの応用可能性を検証する。
実験結果から、従来の視覚情報を用いて、同質なマルチモーダルデータに基づく視覚情報を視覚的感情認識に用いることが可能であることが示され、データセットは \url{https://github.com/201528014227051/SGED} で公開されている。
関連論文リスト
- EEG-based Multimodal Representation Learning for Emotion Recognition [26.257531037300325]
本稿では,ビデオ,画像,音声などの従来のモダリティだけでなく,脳波データも組み込んだ新しいマルチモーダルフレームワークを提案する。
本フレームワークは,様々な入力サイズを柔軟に扱えるように設計されている。
論文 参考訳(メタデータ) (2024-10-29T01:35:17Z) - Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。
より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。
さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
論文 参考訳(メタデータ) (2024-09-17T17:22:35Z) - UniTraj: A Unified Framework for Scalable Vehicle Trajectory Prediction [93.77809355002591]
さまざまなデータセット、モデル、評価基準を統一する包括的なフレームワークであるUniTrajを紹介する。
我々は広範な実験を行い、他のデータセットに転送するとモデルの性能が大幅に低下することがわかった。
これらの知見を説明するために,データセットの特徴に関する洞察を提供する。
論文 参考訳(メタデータ) (2024-03-22T10:36:50Z) - Unity by Diversity: Improved Representation Learning in Multimodal VAEs [24.691068754720106]
ハード制約をソフト制約に置き換えることで、より優れた潜伏表現が得られることを示す。
既存の手法と比較して、学習した潜在表現の改善と欠落したデータモダリティの計算結果を示す。
論文 参考訳(メタデータ) (2024-03-08T13:29:46Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。
本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。
本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
論文 参考訳(メタデータ) (2022-09-26T01:30:43Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - A graph representation based on fluid diffusion model for multimodal
data analysis: theoretical aspects and enhanced community detection [14.601444144225875]
流体拡散に基づくグラフ定義の新しいモデルを提案する。
本手法は,マルチモーダルデータ解析において,コミュニティ検出のための最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-12-07T16:30:03Z) - Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。
近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。
知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
論文 参考訳(メタデータ) (2021-10-27T12:19:56Z) - The Multimodal Sentiment Analysis in Car Reviews (MuSe-CaR) Dataset:
Collection, Insights and Improvements [14.707930573950787]
この種のマルチモーダルデータセットの1つである MuSe-CaR について述べる。
このデータは、最近第1回マルチモーダルセンチメント分析チャレンジのテストベッドとして公開された。
論文 参考訳(メタデータ) (2021-01-15T10:40:37Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。