論文の概要: Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment

• arxiv url: http://arxiv.org/abs/2512.08040v1
• Date: Mon, 08 Dec 2025 21:05:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:07.724483
• Title: Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment
• Title（参考訳）: 埋め込みで発見された翻訳の損失:手話翻訳とアライメント
• Authors: Youngjoon Jang, Liliane Momeni, Zifan Jiang, Joon Son Chung, Gül Varol, Andrew Zisserman,
• Abstract要約: 我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。 i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
• 参考スコア（独自算出の注目度）: 84.39962912136525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our aim is to develop a unified model for sign language understanding, that performs sign language translation (SLT) and sign-subtitle alignment (SSA). Together, these two tasks enable the conversion of continuous signing videos into spoken language text and also the temporal alignment of signing with subtitles -- both essential for practical communication, large-scale corpus construction, and educational applications. To achieve this, our approach is built upon three components: (i) a lightweight visual backbone that captures manual and non-manual cues from human keypoints and lip-region images while preserving signer privacy; (ii) a Sliding Perceiver mapping network that aggregates consecutive visual features into word-level embeddings to bridge the vision-text gap; and (iii) a multi-task scalable training strategy that jointly optimises SLT and SSA, reinforcing both linguistic and temporal alignment. To promote cross-linguistic generalisation, we pretrain our model on large-scale sign-text corpora covering British Sign Language (BSL) and American Sign Language (ASL) from the BOBSL and YouTube-SL-25 datasets. With this multilingual pretraining and strong model design, we achieve state-of-the-art results on the challenging BOBSL (BSL) dataset for both SLT and SSA. Our model also demonstrates robust zero-shot generalisation and finetuned SLT performance on How2Sign (ASL), highlighting the potential of scalable translation across different sign languages.
• Abstract（参考訳）: 本研究の目的は手話理解のための統一モデルを構築し,手話翻訳(SLT)と手話字幕アライメント(SSA)を実現することである。 これら2つのタスクは、連続的な署名ビデオから音声言語テキストへの変換を可能にすると同時に、実践的なコミュニケーション、大規模コーパスの構築、教育的応用に不可欠なサブタイトルとの署名の時間的アライメントを可能にする。 これを実現するために、我々のアプローチは3つのコンポーネントの上に構築されている。 一 署名者のプライバシーを維持しつつ、人間のキーポイントや唇領域の画像から手動及び非手動の手がかりをキャプチャする軽量な視覚バックボーン。 (ii)連続した視覚特徴を単語レベルの埋め込みに集約して視覚とテキストのギャップを埋めるスライディング・パーシーバー・マッピング・ネットワーク 3)SLTとSSAを協調的に最適化し,言語的・時間的アライメントを強化したマルチタスクスケーラブルなトレーニング戦略。 本稿では,BOBSLおよびYouTube-SL-25データセットから,英国手話(BSL)とアメリカ手話(ASL)をカバーする大規模手話コーパスを事前学習する。 この多言語事前学習と強力なモデル設計により,SLT と SSA の双方に対して,BOBSL (BSL) データセットの最先端化を実現した。 また,Hu2Sign (ASL) 上でのゼロショットの堅牢な一般化と微調整SLT性能を示し,異なる手話間のスケーラブルな翻訳の可能性を強調した。

関連論文リスト

• Bridging Sign and Spoken Languages: Pseudo Gloss Generation for Sign Language Translation [48.20483623444857]
  手話翻訳は、手話動画を音声テキストにマッピングすることを目的としている。 一般的なアプローチは、中間表現としてのグロスアノテーションに依存している。 そこで我々は,人間に注釈付けされたグルースを不要とした光沢のない擬似グルース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T12:19:55Z)
• Lost in Translation, Found in Context: Sign Language Translation with Contextual Cues [56.038123093599815]
  我々の目的は、連続手話から音声言語テキストへの翻訳である。 署名ビデオと追加のコンテキストキューを組み込む。 文脈的アプローチが翻訳の質を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-01-16T18:59:03Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Sign2GPT: Leveraging Large Language Models for Gloss-Free Sign Language Translation [30.008980708977095]
  我々は手話翻訳の新しいフレームワークSign2GPTを紹介する。 本稿では,自動抽出した擬似グルースから符号表現を学習するようエンコーダに指示する,新しい事前学習戦略を提案する。 我々は2つの公開ベンチマーク手話翻訳データセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-05-07T10:00:38Z)
• Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
  本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。 まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。 次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
  論文  参考訳（メタデータ） (2023-08-21T15:58:47Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。