論文の概要: Beyond the Mouth: Upper-Face Affective Cues in Audiovisual Sentence Recognition under Acoustic Uncertainty

• arxiv url: http://arxiv.org/abs/2606.00670v1
• Date: Sat, 30 May 2026 10:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.584372
• Title: Beyond the Mouth: Upper-Face Affective Cues in Audiovisual Sentence Recognition under Acoustic Uncertainty
• Title（参考訳）: 音響的不確実性下での聴覚文認識における上面刺激キュース
• Abstract要約: 対面音声理解は本質的にマルチモーダルであり、音響信号と可視的調音、表情、頭の動き、その他社会的に関係のある手がかりを統合する。 本稿では,上面の情緒的情報が,音声・口頭領域以外の聴覚的文章認識に寄与するかどうかを考察する。
• 参考スコア（独自算出の注目度）: 1.7711586582356855
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Face-to-face speech comprehension is inherently multimodal, integrating acoustic signals with visible articulation, facial expression, head motion, and other socially relevant cues. While audiovisual speech systems typically focus on the mouth region as the primary visual source of linguistic information, affective facial expressions are often treated separately as emotion-recognition targets. This paper investigates whether upper-face affective information contributes to audiovisual sentence recognition beyond audio and mouth-region cues, particularly under acoustic degradation. Using the CREMA-D audiovisual emotional speech corpus, we train feature-based sentence classifiers under four cue conditions: audio only (A), audio plus mouth/lower-face features (A+M), audio plus upper-face features (A+U), and audio plus both mouth and upper-face features (A+M+U). Models are evaluated on clean audio and pink-noise conditions at +10 dB, +5 dB, and 0 dB SNR using actor-independent splits. Results show that mouth/lower-face features provide substantial robustness benefits under degraded audio. At 0 dB SNR, A+M improves accuracy over A by 0.0794, with an actor-bootstrap 95% confidence interval of [0.0296, 0.1298]. Upper-face affective cues exhibit a more nuanced effect. Although the direct accuracy gain of A+M+U over A+M is small, full-face models consistently improve calibration across SNR levels and outperform shuffled upper-face controls under noisy conditions. These findings suggest that affective facial information may support multimodal robustness and confidence estimation under acoustic uncertainty without directly encoding lexical content. More broadly, the study highlights the potential role of socially expressive facial cues in human-centered audiovisual interaction systems.
• Abstract（参考訳）: 対面音声理解は本質的にマルチモーダルであり、音響信号と可視的調音、表情、頭の動き、その他社会的に関係のある手がかりを統合する。 音声視覚音声システムは、通常、言語情報の主要な視覚源として口領域に焦点を当てるが、感情的な表情は感情認識の対象として別々に扱われることが多い。 本研究は,特に音響劣化下で,上面感情情報が音声・口頭領域以外の聴覚的文章認識に寄与するか否かを考察する。 CREMA-D音声視覚音声コーパスを用いて、音声のみ(A)、音声+口/口/下顔特徴(A+M)、音声+上顔特徴(A+U)、音声+口/上顔特徴(A+M+U)の4つの条件で特徴ベースの文分類器を訓練する。 10dB, +5dB, 0dB SNRのクリーンオーディオおよびピンクノイズ条件でアクター非依存スプリットを用いてモデルを評価する。 以上の結果から, 音声の劣化下では, 口面・下面の特徴が頑健性に寄与することが示唆された。 0dB SNRでは、A+MはAより0.0794、アクターとブートストラップの95%信頼区間は[0.0296, 0.1298]である。 上面の感情的な手がかりは、よりニュアンスな効果を示す。 A+M以上のA+M+Uの直接精度向上は小さいが、フルフェイスモデルはSNRレベルのキャリブレーションを一貫して改善し、ノイズ条件下ではシャッフルされた上面制御よりも優れていた。 これらの結果から,感情的な顔情報は,語彙内容を直接符号化することなく,音響的不確実性の下でのマルチモーダルロバストネスと信頼度推定を支援する可能性が示唆された。 より広範に、この研究は、人間中心の音声視覚相互作用システムにおける社会的に表現力のある顔の手がかりの潜在的役割を強調している。

関連論文リスト

• Affect Decoding in Phonated and Silent Speech Production from Surface EMG [87.23336551848297]
  EMGなどの調音筋活動の計測は、音声音声分析とともに感情によって発声がどのように変調されるかを明らかにすることができる。 そこで本研究では,12人の被験者から3つのタスクにまたがる2,780の発話からなるデータセットを導入し,オブジェクト内およびオブジェクト間デコーディングの評価を行った。 以上の結果から,EMG表現は最大0.845AUCのフラストレーションを確実に識別し,調音モード全体にわたってよく一般化することがわかった。
  論文  参考訳（メタデータ） (2026-03-12T09:22:02Z)
• Decoding Emotions: Unveiling Facial Expressions through Acoustic Sensing with Contrastive Attention [7.975498710858804]
  FacER+はアクティブな音声表情認識システムである。 スマートフォンの3D顔輪郭とイヤホンスピーカとの間に放射される近超音波信号のエコーを分析して、表情特徴を抽出する。 多様なユーザーに依存しない現実のシナリオにおいて、90%以上の精度で6つの一般的な表情を正確に認識することができる。
  論文  参考訳（メタデータ） (2024-10-01T03:21:33Z)
• A Cross-Modal Approach to Silent Speech with LLM-Enhanced Recognition [0.0]
  サイレント音声インタフェース(SSI)は、無音音声通信のための脳-コンピュータインタフェースの非侵襲的な代替手段を提供する。 我々は,マルチモーダル・ニューラル・オーディオ(MONA)を導入し,多モーダル・アライメントを利用した多モーダル・モデルの学習を行う。 我々の知る限りでは、オープンボキャブラリ上の非侵襲的無声音声認識が15% WERの閾値をクリアした最初の事例である。
  論文  参考訳（メタデータ） (2024-03-02T21:15:24Z)
• AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
  本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。 残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
  論文  参考訳（メタデータ） (2023-08-23T18:20:59Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• Egocentric Audio-Visual Noise Suppression [11.113020254726292]
  本稿では,エゴセントリックビデオの音声・視覚ノイズ抑圧について検討する。 ビデオカメラは、外界のオフスクリーンスピーカーのビューをエミュレートします。 まず,エゴセントリックな視覚情報が騒音抑制に有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:53:12Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• Correlating Subword Articulation with Lip Shapes for Embedding Aware Audio-Visual Speech Enhancement [94.0676772764248]
  埋め込み認識音声強調(EASE)を改善するための視覚的埋め込み手法を提案する。 視覚のみのEASE(VEASE)のための事前訓練された電話機や調音位置認識器を用いて、まず唇フレームから視覚埋め込みを抽出する。 次に,マルチモーダルEASE(MEASE)における音声・視覚的特徴の相補性を利用して,雑音の多い音声・唇ビデオからの音声・視覚的埋め込みを情報交叉方式で抽出する。
  論文  参考訳（メタデータ） (2020-09-21T01:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。