論文の概要: Zero-Shot Cross-Lingual Recognition of Sign Language Handshapes

• arxiv url: http://arxiv.org/abs/2609.18772v1
• Date: Wed, 16 Sep 2026 14:56:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.859061
• Title: Zero-Shot Cross-Lingual Recognition of Sign Language Handshapes
• Title（参考訳）: 手話障害のゼロショット言語間音声認識
• Abstract要約: 音韻分解は手話技術を低リソース言語に拡張するための橋渡しを提供する。 我々は、手形認識のための最初のゼロショット・クロスランガル・フレームワークを、アメリカ手形言語からカタルーニャ手形言語に転送する。
• 参考スコア（独自算出の注目度）: 6.218898032644687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign language processing advances rapidly for high-resource languages such as American Sign Language (ASL), yet most of the world's sign languages lack the phonological annotations new methods require. We present the first zero-shot cross-lingual framework for handshape recognition, transferring from ASL to Catalan Sign Language (LSC). Our approach leverages the decomposition of handshapes into five phonological features -- selected fingers, flexion, spread, thumb position, and thumb contact -- shared across both languages, to decode LSC handshapes from predicted features via a composite phonological distance metric. We evaluate three architectures (MLP, SL-GCN, SHuBERT) trained on two ASL corpora (PopSign, Sem-Lex) against a 37-handshape, single-signer LSC benchmark. Zero-shot transfer proves viable once recording-format disparities are harmonized, reaching 80.0% phonological feature accuracy and 54.5% expected handshape accuracy. Phonological decomposition thus offers a bridge for extending sign language technologies to low-resource languages without any target-language video training labels.
• Abstract（参考訳）: サイン言語処理は、American Sign Language (ASL)のような高リソース言語では急速に進歩するが、世界中の手話言語の多くは、新しい方法に必要な音韻的アノテーションを欠いている。 ASL から Catalan Sign Language (LSC) に変換された手形認識のための,最初のゼロショットクロスランガルフレームワークを提案する。 提案手法は,5つの音韻的特徴 – 選択された指, 屈曲, スプレッド, 親指位置, 親指接触 – への分解を両言語間で共有し, 複合音韻的距離測定によって予測された特徴からLSCハンドホープを復号する。 3つのアーキテクチャ (MLP, SL-GCN, SHuBERT) を37ハンドシェイプ, シングルシグナー LSC ベンチマークで評価した。 ゼロショット転送は、録音形式の違いが調和すると有効であることが証明され、音韻的特徴精度は80.0%、手形精度は54.5%に達する。 したがって、音韻分解は、ターゲット言語のビデオトレーニングラベルを使わずに、手話技術を低リソース言語に拡張するためのブリッジを提供する。

関連論文リスト

• Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
  我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。 i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
  論文  参考訳（メタデータ） (2025-12-08T21:05:46Z)
• Cross-Lingual Interleaving for Speech Language Models [29.477655980414273]
  音声言語モデル(SLM)は,個別単位を用いて言語能力を直接学習することを目的としている。 本稿では,言語間で音声トークンを混在させる言語間相互補完手法を提案する。
  論文  参考訳（メタデータ） (2025-12-01T16:48:05Z)
• Multilingual Gloss-free Sign Language Translation: Towards Building a Sign Language Foundation Model [3.838572376072069]
  手話翻訳は、手話(SL)ビデオを音声言語テキストに変換することを目的としている。 トークンレベルのSL識別と音声テキスト生成のための2つのCTC目的を持つ多言語グロスフリーモデルを提案する。 我々のモデルは10のSLをサポートし、1対1、多対1、多対多のSLTタスクを処理する。
  論文  参考訳（メタデータ） (2025-05-30T08:47:44Z)
• Representing Signs as Signs: One-Shot ISLR to Facilitate Functional Sign Language Technologies [6.403291706982091]
  独立した手話認識は、スケーラブルな言語技術にとって不可欠である。 言語をまたいで一般化し,語彙を進化させるワンショット学習手法を提案する。 我々は、異なる言語から10,235のユニークな記号を含む大きな辞書上で50.8%のワンショットMRRを含む最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-02-27T15:07:51Z)
• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。 SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。 SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• The Sem-Lex Benchmark: Modeling ASL Signs and Their Phonemes [6.0179345110920455]
  本稿では,ASL(American Sign Language)モデリングのための新しいリソースであるSem-Lex Benchmarkを紹介する。 Benchmarkは、現在最大規模で、聴覚障害のASL署名者による84万本以上の単独のサイン制作のビデオで構成されており、インフォームド・コンセントが与えられ、補償を受けた。 ASL-LEXにおける言語情報を活用する一連の実験を行い、Sem-Lex Benchmark(ISR)の実用性と公正性を評価した。
  論文  参考訳（メタデータ） (2023-09-30T00:25:43Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Improving Sign Recognition with Phonology [8.27285154257448]
  我々は、アメリカ手話音声学の研究から得られた知見を用いて、手話認識のためのモデルを訓練する。 我々は、サインだけでなく、その音韻特性を予測するために、シングルサインを生成するシグナーのポーズ推定を行うISLRモデルを訓練する。 これらの補助予測は、WLASLベンチマークの符号認識精度を9%近く向上させる。
  論文  参考訳（メタデータ） (2023-02-11T18:51:23Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• How Phonotactics Affect Multilingual and Zero-shot ASR Performance [74.70048598292583]
  Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。 我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。 交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:07:24Z)
• BSL-1K: Scaling up co-articulated sign language recognition using mouthing cues [106.21067543021887]
  ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。 BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
  論文  参考訳（メタデータ） (2020-07-23T16:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。