論文の概要: Targeted Linguistic Analysis of Sign Language Models with Minimal Translation Pairs

• arxiv url: http://arxiv.org/abs/2604.27232v1
• Date: Wed, 29 Apr 2026 22:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.822803
• Title: Targeted Linguistic Analysis of Sign Language Models with Minimal Translation Pairs
• Title（参考訳）: 最小翻訳ペアを持つ手話モデルのターゲット言語学的解析
• Authors: Serpil Karabüklü, Kanishka Misra, Shester Gueuwou, Diane Brentari, Greg Shakhnarovich, Karen Livescu,
• Abstract要約: ASL Sign Language, ASL Minimal Translation Pairs (ASL-MTP) のための新しいベンチマークデータセットを導入する。 我々は ASL-MTP を用いて、最先端の ASL-to- English 翻訳モデルを分析する。 我々は,ASL-MTPの学習と推論において,様々な入力キューを非難し,ASL-MTPの現象を評価することによって,モデルのターゲット分析を行う。
• 参考スコア（独自算出の注目度）: 28.82739011775961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Models of sign language have historically lagged behind those for spoken language (text and speech). Recent work has greatly improved their performance on tasks like sign language translation and isolated sign recognition. However, it remains unclear to what extent existing models capture various linguistic phenomena of sign language, and how well they use cues from the multiple articulators used in sign language (hands, upper body, face). We introduce a new benchmark dataset for American Sign Language, ASL Minimal Translation Pairs (ASL-MTP), divided into multiple types of sign language phenomena and corresponding minimal pairs of translations, for performing such linguistic analyses. As a case study, we use ASL-MTP to analyze a state-of-the-art ASL-to-English translation model. We conduct a targeted analysis of the model by ablating various input cues during training and inference and evaluating on the phenomena in ASL-MTP. Our results show that, while the model performs above chance level on most of the phenomena, it relies strongly on manual cues while often missing crucial non-manual cues.
• Abstract（参考訳）: 手話のモデルは、歴史的に音声言語(テキストと音声)に遅れを取っている。 最近の研究は、手話翻訳や孤立した手話認識といったタスクにおけるパフォーマンスを大幅に改善した。 しかし、既存のモデルが手話の様々な言語現象をどの程度捉えているか、手話(手、上半身、顔)で使われる複数の調音器の手がかりがどの程度うまく使われているかは、まだ不明である。 そこで我々は,ASL-MTP (ASL Minimal Translation Pairs) を複数種類の手話現象と対応する最小ペアの翻訳に分割し,そのような言語分析を行うための新しいベンチマークデータセットを提案する。 ケーススタディでは、ASL-MTPを用いて最先端のASL-to- English翻訳モデルを分析する。 我々は,ASL-MTPの学習と推論において,様々な入力キューを非難し,ASL-MTPの現象を評価することによって,モデルのターゲット分析を行う。 以上の結果から,ほとんどの現象において,モデルがチャンスレベル以上の性能を発揮する一方で,手動の手がかりに強く依存する一方で,重要な非手動の手がかりを欠いていることが示唆された。

関連論文リスト

• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
  手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。 難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。 これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
  論文  参考訳（メタデータ） (2024-08-16T06:04:25Z)
• Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
  本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。 まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。 次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
  論文  参考訳（メタデータ） (2023-08-21T15:58:47Z)
• Fine-tuning of sign language recognition models: a technical report [0.0]
  我々は、他の手話からのデータセットの微調整が、手話認識の品質向上に役立つか、そしてGPUを使わずにリアルタイムで手話認識が可能かどうか、という2つの質問に焦点をあてる。 モデル学習実験を再現し、モデルをONNXフォーマットに変換し、リアルタイムジェスチャー認識のための推論を行うコードを提供する。
  論文  参考訳（メタデータ） (2023-02-15T14:36:18Z)
• Improving Sign Recognition with Phonology [8.27285154257448]
  我々は、アメリカ手話音声学の研究から得られた知見を用いて、手話認識のためのモデルを訓練する。 我々は、サインだけでなく、その音韻特性を予測するために、シングルサインを生成するシグナーのポーズ推定を行うISLRモデルを訓練する。 これらの補助予測は、WLASLベンチマークの符号認識精度を9%近く向上させる。
  論文  参考訳（メタデータ） (2023-02-11T18:51:23Z)
• Classification of Phonological Parameters in Sign Languages [0.0]
  言語学的研究はしばしば手話を研究するために記号を構成要素に分解する。 本研究では,手話中の個々の音韻的パラメータを認識するために,一つのモデルを用いる方法を示す。
  論文  参考訳（メタデータ） (2022-05-24T13:40:45Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。