論文の概要: Predicting Individual Differences in Lipreading From Eye-Tracking and Pupillometry During Silent Visual Speech

• arxiv url: http://arxiv.org/abs/2610.24898v1
• Date: Sat, 17 Oct 2026 22:39:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:27:26.73457
• Title: Predicting Individual Differences in Lipreading From Eye-Tracking and Pupillometry During Silent Visual Speech
• Title（参考訳）: 無声視覚音声における眼球運動と瞳孔計測の差の予測
• Abstract要約: リップリーディング能力は、聞き難い人など、多岐にわたる。 口唇読取能力の個人差が無声音声の視聴行動に反映されているかを検討した。
• 参考スコア（独自算出の注目度）: 25.803661853725625
• License:
• Abstract: Lipreading ability varies widely, including among people who are hard of hearing. Although mouth-directed attention is linked to speechreading outcomes, it remains unclear how much lipreading skill can be inferred from viewing behavior and which signals carry this information. We examine whether individual differences in lipreading ability are reflected in viewing behavior during silent speech and quantify the contributions of gaze dynamics, pupil-linked signals, and spatial viewing allocation. We introduce the Lipreading Perception Study (LiPS) dataset and a tracker-independent preprocessing pipeline that synchronizes SR Research EyeLink gaze and pupil recordings with the stimuli. Twenty-four adults (age 32 $\pm$ 10 years) completed a four-alternative forced-choice silent lipreading task. An extreme-groups protocol yielded 18 participants labeled as stronger or weaker lipreaders. Each participant-trial included four aligned views: lip-region images, frame-level gaze, pupil summaries, and spatial viewing proportions. A four-branch neural network with cross-modal attention predicted labels using participant-disjoint splits and systematic ablations. The full model reached accuracy 0.680 $\pm$ 0.040 across five folds, outperforming naive fusion baselines in accuracy. The pupil and viewing-summary branch was most informative: removing it caused the largest degradation (0.618 accuracy, 0.623 AUC), while it alone achieved 0.675 accuracy. The lip-image stream contributed little to participant-level discrimination. Individual differences in lipreading are reflected in pupil-linked and frame-level gaze signals rather than in how much time a viewer spends looking at the mouth. Synchronized gaze and pupillary measures may provide objective markers of visual speech perception, warranting investigation in larger, clinically diverse populations. LiPS provides a resource for extending this work.
• Abstract（参考訳）: リップリーディング能力は、聞き難い人など、多岐にわたる。 口指向の注意は, 音声読取結果と関係があるものの, 視聴行動からどの程度の唇読取スキルを推定できるのか, どのような信号がこれらの情報を運ぶのかは定かではない。 本研究では,サイレントスピーチ中の視聴行動にリップリーディング能力の個人差が反映されるかどうかを検証し,視線力学,瞳孔リンク信号,空間的視線アロケーションの寄与を定量化する。 本稿では,Lipreading Perception Study (LiPS)データセットと,SR Research EyeLinkの視線と瞳孔の記録と刺激を同期するトラッカーに依存しない前処理パイプラインを紹介する。 成人24名(32$\pm$10歳)は、4つの交互に強制的無声唇読解課題を完了した。 極端グループプロトコルは18人の参加者に、より強いまたは弱いリップリーダーとラベル付けされた。 各受験者は, 唇領域像, フレームレベル視線, 瞳孔要約, 空間視率の4つを並べた。 参加者の不一致分割と系統的改善を用いた4分岐ニューラルネットワークによるラベルの相互注意予測 完全なモデルは5つの折り畳みで0.680$\pm$0.040に達した。 瞳孔と視線終末枝は最も有益であり、除去は最大の劣化(0.618の精度、0.623のAUC)を引き起こし、一方0.675の精度を達成した。 唇画像ストリームは参加者レベルの差別にはほとんど寄与しなかった。 読唇の個人差は、観察者が口を見る時間よりも、瞳孔とフレームレベルの視線信号に反映される。 同期視線と瞳孔測定は、より大きな、臨床的に多様な集団における調査を保証し、視覚的音声知覚の客観的マーカーを提供する可能性がある。 LiPSはこの作業を拡張するためのリソースを提供する。

関連論文リスト

• From Gaze to Insight: Bridging Human Visual Attention and Vision Language Model Explanation for Weakly-Supervised Medical Image Segmentation [48.45209969191245]
  視覚言語モデル(VLM)は、テキスト記述を通して意味的コンテキストを提供するが、説明精度は欠如している。 本稿では,その補完的強みを活かし,視線と言語指導を統合した教師教育フレームワークを提案する。 本手法は,8.78%,80.53%,84.22%のDiceスコアをそれぞれ達成し,アノテーション負担を増大させることなく視線ベースラインよりも3.5%向上した。
  論文  参考訳（メタデータ） (2025-04-15T16:32:15Z)
• Audio-Visual Speech Representation Expert for Enhanced Talking Face Video Generation and Evaluation [51.92522679353731]
  本稿では,学習中の唇の同期損失の計算にAV-HuBERT (Audio-visual speech representation expert) を用いることを提案する。 3つの新しい唇同期評価指標を導入し,唇同期性能を総合的に評価することを目的とした。
  論文  参考訳（メタデータ） (2024-05-07T13:55:50Z)
• Leveraging Visemes for Better Visual Speech Representation and Lip Reading [2.7836084563851284]
  そこで本研究では,音声学的に類似した唇形状群であるビセムを利用して,より差別的で堅牢な唇読解ビデオ特徴を抽出する手法を提案する。 提案手法は,従来手法と比較して,唇読解単語誤り率(WER)を9.1%削減する。
  論文  参考訳（メタデータ） (2023-07-19T17:38:26Z)
• Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert [89.07178484337865]
  音声合成は、コヒーレントな音声入力が与えられた唇に関する顔の動きを再構成する。 従来の研究では、唇音の同期と視覚的品質が重要であった。 そこで我々は, 唇読解の専門家を用いて, 生成した唇領域の知性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-29T07:51:07Z)
• Is Lip Region-of-Interest Sufficient for Lipreading? [24.294559985408192]
  自己教師型学習によるリップリーディングに顔全体を採用することを提案する。 AV-HuBERTというマルチモーダルな自己教師型学習フレームワークを実験で採用した。
  論文  参考訳（メタデータ） (2022-05-28T01:34:24Z)
• Learn an Effective Lip Reading Model without Pains [96.21025771586159]
  視覚的音声認識としても知られるリップ読み取りは、リップダイナミックスを解析することにより、ビデオから音声の内容を認識することを目的としている。 既存のほとんどの手法は、複雑なニューラルネットワークを構築することで高い性能を得た。 これらの戦略を適切に活用することは、モデルの大部分を変更することなく、常にエキサイティングな改善をもたらす可能性があることに気付きました。
  論文  参考訳（メタデータ） (2020-11-15T15:29:19Z)
• Learning Individual Speaking Styles for Accurate Lip to Speech Synthesis [37.37319356008348]
  本研究は,話者の唇の動きのみを与えられた自然な音声を生成することを学ぶことを目的として,音声合成における唇の課題を探求する。 我々は,制約のない大規模な語彙設定において,個々の話者に対して,正確な唇配列から音声マッピングへの学習に焦点をあてる。 そこで本稿では, 音声合成の精度, 自然な唇を実現するために, 鍵となる設計選択を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-05-17T10:29:19Z)
• Mutual Information Maximization for Effective Lip Reading [99.11600901751673]
  本稿では,局所的特徴レベルとグローバルなシーケンスレベルの両方について,相互情報制約を導入することを提案する。 これら2つの利点を組み合わせることで, 有効な唇読解法として, 識別性と頑健性の両方が期待できる。
  論文  参考訳（メタデータ） (2020-03-13T18:47:42Z)
• Can We Read Speech Beyond the Lips? Rethinking RoI Selection for Deep Visual Speech Recognition [90.61063126619182]
  我々は、最先端の音声認識モデルを用いて、異なる顔領域の効果を評価する。 口腔外顔面領域からの情報、上面でさえも、常にVSRの性能に寄与することが判明した。
  論文  参考訳（メタデータ） (2020-03-06T13:52:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。