論文の概要: Sign Language Translation with Sentence Embedding Supervision

• arxiv url: http://arxiv.org/abs/2510.19367v1
• Date: Wed, 22 Oct 2025 08:40:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.430943
• Title: Sign Language Translation with Sentence Embedding Supervision
• Title（参考訳）: 文埋め込みスーパービジョンを用いた手話翻訳
• Authors: Yasser Hamidullah, Josef van Genabith, Cristina España-Bonet,
• Abstract要約: 最先端手話翻訳システム(SLT)は、光沢アノテーションによる学習プロセスを容易にする。 そこで本研究では,目標文の文埋め込みを訓練時間に導入し,グルースの役割を担っている新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 15.279905143200994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art sign language translation (SLT) systems facilitate the learning process through gloss annotations, either in an end2end manner or by involving an intermediate step. Unfortunately, gloss labelled sign language data is usually not available at scale and, when available, gloss annotations widely differ from dataset to dataset. We present a novel approach using sentence embeddings of the target sentences at training time that take the role of glosses. The new kind of supervision does not need any manual annotation but it is learned on raw textual data. As our approach easily facilitates multilinguality, we evaluate it on datasets covering German (PHOENIX-2014T) and American (How2Sign) sign languages and experiment with mono- and multilingual sentence embeddings and translation systems. Our approach significantly outperforms other gloss-free approaches, setting the new state-of-the-art for data sets where glosses are not available and when no additional SLT datasets are used for pretraining, diminishing the gap between gloss-free and gloss-dependent systems.
• Abstract（参考訳）: State-of-the-art sign language translation (SLT) システムは、用語のアノテーションを通じて、エンド2の方法で、あるいは中間のステップで学習プロセスを容易にする。 残念ながら、Glossラベル付き手話データは通常、大規模に利用できないため、Glossアノテーションはデータセットからデータセットまで大きく異なる。 そこで本研究では,目標文の文埋め込みを訓練時間に導入し,グルースの役割を担っている新しいアプローチを提案する。 新しいタイプの監督は手動のアノテーションを必要としないが、生のテキストデータに基づいて学習される。 提案手法は,ドイツ語(PHOENIX-2014T)とアメリカ語(How2Sign)を対象とし,単言語および多言語文の埋め込みと翻訳システムを用いた実験を行った。 我々のアプローチは他のグロスフリーアプローチよりも優れており、グロスが利用できないデータセットや、事前トレーニングに追加のSLTデータセットが使用されていない場合には、グロスフリーシステムとグロス依存システムとのギャップを小さくする。

関連論文リスト

• Bridging Sign and Spoken Languages: Pseudo Gloss Generation for Sign Language Translation [48.20483623444857]
  手話翻訳は、手話動画を音声テキストにマッピングすることを目的としている。 一般的なアプローチは、中間表現としてのグロスアノテーションに依存している。 そこで我々は,人間に注釈付けされたグルースを不要とした光沢のない擬似グルース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T12:19:55Z)
• Sign2GPT: Leveraging Large Language Models for Gloss-Free Sign Language Translation [30.008980708977095]
  我々は手話翻訳の新しいフレームワークSign2GPTを紹介する。 本稿では,自動抽出した擬似グルースから符号表現を学習するようエンコーダに指示する,新しい事前学習戦略を提案する。 我々は2つの公開ベンチマーク手話翻訳データセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-05-07T10:00:38Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Gloss Attention for Gloss-free Sign Language Translation [60.633146518820325]
  グロスアノテーションによって手話の翻訳が容易になることを示す。 次に,同じセマンティクスを持つビデオセグメント内で,モデルが注意を維持できるように,エンファングルースアテンションを提案する。 複数の大規模手話データセットに対する実験結果から,提案したGASLTモデルは既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-14T14:07:55Z)
• Gloss-Free End-to-End Sign Language Translation [59.28829048788345]
  我々はGloFE(Gloss-Free End-to-end手話翻訳フレームワーク)を設計する。 本手法は,信号の共通意味と対応する音声翻訳を利用して,光沢のない環境下でのSLTの性能を向上させる。 OpenASLやHow2Signなど,大規模データセットの最先端結果を得た。
  論文  参考訳（メタデータ） (2023-05-22T09:57:43Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。