論文の概要: Multimodal Sentiment Analysis based on Video and Audio Inputs

• arxiv url: http://arxiv.org/abs/2412.09317v1
• Date: Thu, 12 Dec 2024 14:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 17:02:02.534269
• Title: Multimodal Sentiment Analysis based on Video and Audio Inputs
• Title（参考訳）: 映像・音声入力に基づくマルチモーダル感性分析
• Authors: Antonio Fernandez, Suzan Awinat,
• Abstract要約: 本研究の目的は,映像や音声の入力を受信する感情認識モデルのユーザビリティを証明することである。 モデルのトレーニングに使用されるデータセットは、オーディオ用のCREMA-Dデータセットとビデオ用のRAVDESSデータセットである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Despite the abundance of current researches working on the sentiment analysis from videos and audios, finding the best model that gives the highest accuracy rate is still considered a challenge for researchers in this field. The main objective of this paper is to prove the usability of emotion recognition models that take video and audio inputs. The datasets used to train the models are the CREMA-D dataset for audio and the RAVDESS dataset for video. The fine-tuned models that been used are: Facebook/wav2vec2-large for audio and the Google/vivit-b-16x2-kinetics400 for video. The avarage of the probabilities for each emotion generated by the two previous models is utilized in the decision making framework. After disparity in the results, if one of the models gets much higher accuracy, another test framework is created. The methods used are the Weighted Average method, the Confidence Level Threshold method, the Dynamic Weighting Based on Confidence method, and the Rule-Based Logic method. This limited approach gives encouraging results that make future research into these methods viable.
• Abstract（参考訳）: ビデオやオーディオからの感情分析に多くの研究が取り組んでいますが、最も精度の高いモデルを見つけることは、この分野の研究者にとって依然として課題だと考えられています。 本研究の目的は,映像や音声の入力を受信する感情認識モデルのユーザビリティを証明することである。 モデルのトレーニングに使用されるデータセットは、オーディオ用のCREMA-Dデータセットとビデオ用のRAVDESSデータセットである。 Facebook/wav2vec2-large for AudioとGoogle/vivit-b-16x2-kinetics400 for Video。 従来の2つのモデルによって生成された各感情に対する確率の変動は、意思決定の枠組みで利用される。 結果の不一致の後、モデルのうちの1つがはるかに精度が高くなった場合、別のテストフレームワークが作成されます。 用いられる方法は、平均重み付け法、信頼度閾値法、信頼度に基づく動的重み付け法、ルールベース論理法である。 この制限されたアプローチは、これらの方法に関する将来の研究を可能にする奨励的な結果を与える。

関連論文リスト

• Robust Neural Processes for Noisy Data [1.7268667700090563]
  ノイズによってデータが汚染された場合の文脈内学習モデルの振る舞いについて検討する。 クリーンなデータで最高のパフォーマンスを示すモデルは、ノイズの多いデータで最高のパフォーマンスを示すモデルとは異なることが分かりました。 本稿では,NPモデルの学習方法を提案する。
  論文  参考訳（メタデータ） (2024-11-03T20:00:55Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
  AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T06:06:55Z)
• AVTENet: Audio-Visual Transformer-based Ensemble Network Exploiting Multiple Experts for Video Deepfake Detection [53.448283629898214]
  近年の超現実的なディープフェイクビデオの普及は、オーディオと視覚の偽造の脅威に注意を向けている。 AI生成のフェイクビデオの検出に関するこれまでのほとんどの研究は、視覚的モダリティまたはオーディオ的モダリティのみを使用していた。 音響操作と視覚操作の両方を考慮したAVTENet(Audio-Visual Transformer-based Ensemble Network)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T19:01:26Z)
• Evaluating raw waveforms with deep learning frameworks for speech emotion recognition [0.0]
  特徴抽出段階なしで生のオーディオファイルをディープニューラルネットワークに直接供給するモデルを表現する。 EMO-DB、RAVDESS、TESS、CREMA、SAVEE、TESS+RAVDESSの6つのデータセットを使用します。 提案モデルは,CNNモデルによるEMO-DBの精度90.34%,RAVDESSの精度90.42%,LSTMモデルによるTESSの精度99.48%,CNNモデルによるCREMAの精度69.72%,CNNモデルによるSAVEEの精度85.76%,の精度90.34%を実行する。
  論文  参考訳（メタデータ） (2023-07-06T07:27:59Z)
• Localizing Moments in Long Video Via Multimodal Guidance [51.72829274071017]
  本研究では,非記述可能なウィンドウを識別し,抽出することにより,長いビデオにおける自然言語グラウンドリングの性能を向上させる手法を提案する。 実験の結果,提案手法はMADが4.1%,Ego4Dが4.52%,最先端モデルが4.1%向上することがわかった。
  論文  参考訳（メタデータ） (2023-02-26T18:19:24Z)
• Large-scale Robustness Analysis of Video Action Recognition Models [10.017292176162302]
  我々は6つの最先端動作認識モデルの90種類の摂動に対する堅牢性について検討した。 1) トランスフォーマーベースモデルはCNNベースモデルと比較して一貫して堅牢であり、2) 事前トレーニングはCNNベースモデルよりもトランスフォーマーベースモデルのロバスト性を改善し、3) 研究されたモデルはすべて、SSv2以外のすべてのデータセットに対して時間的摂動に対して堅牢である。
  論文  参考訳（メタデータ） (2022-07-04T13:29:34Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• One to Many: Adaptive Instrument Segmentation via Meta Learning and Dynamic Online Adaptation in Robotic Surgical Video [71.43912903508765]
  MDALは、ロボット支援手術における機器セグメンテーションのための動的オンライン適応学習スキームです。 ビデオ固有のメタ学習パラダイムを通じて、楽器の一般的な知識と高速適応能力を学ぶ。 2つのデータセットで他の最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-03-24T05:02:18Z)
• Speech Prediction in Silent Videos using Variational Autoencoders [29.423462898526605]
  我々はサイレントビデオで音声を生成するモデルを提案する。 提案モデルは、繰り返しニューラルネットワークと変分深部生成モデルを組み合わせて、聴覚の条件分布を学習する。 標準ベンチマークに基づくGRIDデータセット上で,本モデルの性能を示す。
  論文  参考訳（メタデータ） (2020-11-14T17:09:03Z)
• NAViDAd: A No-Reference Audio-Visual Quality Metric Based on a Deep Autoencoder [0.0]
  ディープオートエンコーダ(NAViDAd)に基づく非参照音声品質指標を提案する。 このモデルは、ディープオートエンコーダ層と分類層を含む2層フレームワークによって構成される。 このモデルは、UnB-AVとLiveNetflix-IIデータベースでテストするとうまく動作した。
  論文  参考訳（メタデータ） (2020-01-30T15:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。