論文の概要: Emotion Recognition in Signers
- arxiv url: http://arxiv.org/abs/2512.15376v1
- Date: Wed, 17 Dec 2025 12:26:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-18 17:06:26.976798
- Title: Emotion Recognition in Signers
- Title（参考訳）: シグナーの感情認識
- Authors: Kotaro Funakoshi, Yaoxiong Zhu,
- Abstract要約: 日本語手話署名者の感情認識のための新しいベンチマークデータセット eJSL と,字幕付き大英手話データセット BOBSL を用いる。
eJSLでは、2人のシグナーが7つの異なる感情状態のそれぞれに78の異なる発話を表現し、1,092の動画クリップが得られた。
実験により,1)手話におけるテキスト感情認識は手話におけるデータ不足を軽減し,2)手話セグメントの選択が大きな影響を与え,3)手話の動きが手話における感情認識を促進させることを示した。
- 参考スコア（独自算出の注目度）: 5.040463208115642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recognition of signers' emotions suffers from one theoretical challenge and one practical challenge, namely, the overlap between grammatical and affective facial expressions and the scarcity of data for model training. This paper addresses these two challenges in a cross-lingual setting using our eJSL dataset, a new benchmark dataset for emotion recognition in Japanese Sign Language signers, and BOBSL, a large British Sign Language dataset with subtitles. In eJSL, two signers expressed 78 distinct utterances with each of seven different emotional states, resulting in 1,092 video clips. We empirically demonstrate that 1) textual emotion recognition in spoken language mitigates data scarcity in sign language, 2) temporal segment selection has a significant impact, and 3) incorporating hand motion enhances emotion recognition in signers. Finally we establish a stronger baseline than spoken language LLMs.
- Abstract（参考訳）: シグナーの感情の認識は1つの理論的課題と1つの実践的課題、すなわち文法的表情と感情的表情の重複とモデルの訓練のためのデータの不足に苦しむ。
本稿では、日本語手話署名者における感情認識のための新しいベンチマークデータセットであるeJSLデータセットと、字幕付き大英手話データセットであるBOBSLを用いた言語間データセットにおけるこれらの課題について述べる。
eJSLでは、2人のシグナーが7つの異なる感情状態のそれぞれに78の異なる発話を表現し、1,092の動画クリップが得られた。
私たちはそれを実証的に示します
1)手話におけるテキスト感情認識は手話におけるデータの不足を軽減する。
2)時間的セグメント選択は大きな影響を及ぼし、
3)手の動きを取り入れることで,シグナーの感情認識が促進される。
最後に,LLMよりも強力なベースラインを確立する。
関連論文リスト
- Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。
i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
論文 参考訳（メタデータ） (2025-12-08T21:05:46Z) - EASL: Multi-Emotion Guided Semantic Disentanglement for Expressive Sign Language Generation [7.76229483761977]
感情認識型サイン言語EASL(Emotion-Aware Sign Language)を提案する。
意味的特徴と感情的特徴を別々に抽出するために,段階的な訓練を施した感情意味的不絡みモジュールを導入する。
ポーズデコーディングの間、感情表現はセマンティックな相互作用を誘導し、7クラスの感情的自信スコアを持つサインポーズを生成し、感情的表現認識を可能にする。
論文 参考訳（メタデータ） (2025-11-27T06:04:15Z) - EmoSign: A Multimodal Dataset for Understanding Emotions in American Sign Language [26.020329504293777]
EmoSignは、200のAmerican Sign Language (ASL)ビデオに対する感情と感情のラベルを含む最初の手話ビデオデータセットである。
また、感情の手がかりのオープンな記述も収集する。
論文 参考訳（メタデータ） (2025-05-20T22:14:38Z) - Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages [31.15696076055884]
コントラスト学習を利用して、多言語音声の特徴を洗練し、大きな言語モデルを拡張することを提案する。
具体的には、感情空間における音声信号と言語的特徴を整合させるために、2段階の新たな訓練フレームワークを用いる。
この分野での研究を進めるために,大規模合成多言語音声感情データセットM5SERを導入する。
論文 参考訳（メタデータ） (2025-03-25T05:58:18Z) - BRIGHTER: BRIdging the Gap in Human-Annotated Textual Emotion Recognition Datasets for 28 Languages [93.92804151830744]
BRIGHTERは、28の言語で複数ラベル付き、感情アノテートされたデータセットの集合である。
データ収集とアノテーションプロセスに関する課題を強調します。
BRIGHTERデータセットは、テキストベースの感情認識のギャップに対処するための重要なステップであることを示す。
論文 参考訳（メタデータ） (2025-02-17T15:39:50Z) - Classification in Japanese Sign Language Based on Dynamic Facial Expressions [0.0]
日本語手話(JSL)認識の研究は,データセットの欠如により限られている。
JSLでは、肯定的な文や質問などの文型は表情によって区別される。
提案手法は,ニューラルネットワークを用いて顔の特徴を分析し,文型を分類する。
論文 参考訳（メタデータ） (2024-11-10T03:34:34Z) - Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。
難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。
これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
論文 参考訳（メタデータ） (2024-08-16T06:04:25Z) - Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳（メタデータ） (2023-08-21T15:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。