論文の概要: The Importance of Facial Features in Vision-based Sign Language Recognition: Eyes, Mouth or Full Face?

• arxiv url: http://arxiv.org/abs/2507.20884v2
• Date: Tue, 29 Jul 2025 18:27:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 11:57:45.840937
• Title: The Importance of Facial Features in Vision-based Sign Language Recognition: Eyes, Mouth or Full Face?
• Title（参考訳）: 視覚に基づく手話認識における顔の特徴の重要性 : 目、口、顔全体について
• Authors: Dinh Nam Pham, Eleftherios Avramidis,
• Abstract要約: 本研究は, 口が非手動顔の最も重要な特徴であり, 精度が著しく向上していることを示す。 自動手話認識に顔の特徴を取り入れることの必要性が示唆された。
• 参考スコア（独自算出の注目度）: 5.92177182003275
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Non-manual facial features play a crucial role in sign language communication, yet their importance in automatic sign language recognition (ASLR) remains underexplored. While prior studies have shown that incorporating facial features can improve recognition, related work often relies on hand-crafted feature extraction and fails to go beyond the comparison of manual features versus the combination of manual and facial features. In this work, we systematically investigate the contribution of distinct facial regionseyes, mouth, and full faceusing two different deep learning models (a CNN-based model and a transformer-based model) trained on an SLR dataset of isolated signs with randomly selected classes. Through quantitative performance and qualitative saliency map evaluation, we reveal that the mouth is the most important non-manual facial feature, significantly improving accuracy. Our findings highlight the necessity of incorporating facial features in ASLR.
• Abstract（参考訳）: 非手動顔認証は手話通信において重要な役割を担っているが, 自動手話認識(ASLR)の重要性はいまだ検討されていない。 以前の研究では、顔の特徴を取り入れることで認識が向上することが示されているが、関連する作業は手作業による特徴抽出に依存しており、手作業による特徴と手作業による特徴と顔の特徴の組み合わせの比較に留まらないことが多い。 本研究では,無作為に選択されたクラスを持つ孤立標識のSLRデータセットを用いて学習した2つの異なる深層学習モデル(CNNベースモデルとトランスフォーマーベースモデル)を用いて,異なる顔面領域,口,フルフェイスの寄与を体系的に検討する。 定量的な評価と質的サリエンシマップによる評価により, 口が最も重要な非手動顔の特徴であり, 精度が著しく向上していることが判明した。 以上の結果から,ASLRに顔の特徴を取り入れることの必要性が示唆された。

関連論文リスト

• Face-LLaVA: Facial Expression and Attribute Understanding through Instruction Tuning [5.178801281905521]
  顔認識や属性認識を含む,顔中心のテキスト内学習のための大規模言語モデルFace-LLaVAを提案する。 まず,顔処理のためのMLLMを指導する顔中心データベースFaceInstruct-1Mを開発した。 そこで我々は,Face-Region Guided Cross-Attentionを応用した新しいビジュアルエンコーダを開発した。
  論文  参考訳（メタデータ） (2025-04-09T18:26:07Z)
• CLIP Unreasonable Potential in Single-Shot Face Recognition [0.0]
  顔認識は、顔のパターンや特徴を分析して個人を識別し、認証するために設計されたコンピュータビジョンの中核的なタスクである。 近年,OpenAIによって開発されたCLIP(Contrastive Language Image Pretraining)モデルが注目されている。 CLIPは自然言語処理と視覚タスクを結びつけることで、モジュール間の一般化を可能にする。
  論文  参考訳（メタデータ） (2024-11-19T08:23:52Z)
• LAFS: Landmark-based Facial Self-supervised Learning for Face Recognition [37.4550614524874]
  我々は、効果的な顔認識モデルの訓練に適応できる顔表現の学習に焦点をあてる。 本研究では,自己教師付き事前学習による未ラベル顔画像の学習戦略について検討する。 提案手法は,複数の顔認識ベンチマークにおける最先端技術よりも大幅に向上する。
  論文  参考訳（メタデータ） (2024-03-13T01:07:55Z)
• Contrastive Learning of Person-independent Representations for Facial Action Unit Detection [70.60587475492065]
  自己教師型AU表現学習信号を2次元で定式化する。 ビデオクリップ内でAU表現を学習し、個人に依存しない表現を学習するためのクロスアイデンティティ再構築機構を考案する。 提案手法は,他のコントラスト学習手法よりも優れており,自己教師と教師付きAU検出手法間の性能ギャップを著しく短縮する。
  論文  参考訳（メタデータ） (2024-03-06T01:49:28Z)
• Self-Supervised Facial Representation Learning with Facial Region Awareness [13.06996608324306]
  自己教師付き事前学習は、様々な視覚的タスクに役立つ伝達可能な表現を学習するのに有効であることが証明されている。 この目標に向けての最近の取り組みは、各顔画像を全体として扱うことに限定されている。 本研究では,一貫したグローバルおよびローカルな顔表現を学習するための,自己教師型顔表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-04T15:48:56Z)
• CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition [80.07590100872548]
  本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。 CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
  論文  参考訳（メタデータ） (2022-08-10T15:46:05Z)
• I Only Have Eyes for You: The Impact of Masks On Convolutional-Based Facial Expression Recognition [78.07239208222599]
  今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。 また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
  論文  参考訳（メタデータ） (2021-04-16T20:03:30Z)
• Pre-training strategies and datasets for facial representation learning [58.8289362536262]
  いくつかの顔分析タスクやデータセットに適用可能な普遍的な顔表現の探索方法を示す。 顔に適応する2つの大規模表現学習を体系的に検討する。 私たちの主な2つの発見は以下の通りです: 完全にインザワイルドな未処理データに対する教師なし事前トレーニングは一貫性を提供し、場合によっては大幅な精度向上をもたらします。
  論文  参考訳（メタデータ） (2021-03-30T17:57:25Z)
• AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition [79.8779790682205]
  本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。 課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-12-29T03:42:04Z)
• Dual-Attention GAN for Large-Pose Face Frontalization [59.689836951934694]
  本稿では,フォトリアリスティック顔フロンダル化のためのDA-GAN(Dual-Attention Generative Adversarial Network)を提案する。 具体的には、ローカル機能と長距離依存関係を統合するために、自己アテンションベースのジェネレータが導入された。 顔領域の局所的特徴を強調するために,新しい顔認識に基づく識別器を適用した。
  論文  参考訳（メタデータ） (2020-02-17T20:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。