論文の概要: Bridging the Gap Between Semantics and Reconstruction:Unifying Sign Language Translation and Production
- arxiv url: http://arxiv.org/abs/2608.09045v1
- Date: Mon, 10 Aug 2026 02:50:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.046832
- Title: Bridging the Gap Between Semantics and Reconstruction:Unifying Sign Language Translation and Production
- Title（参考訳）: 意味論と再構築のギャップを埋める:手話翻訳と生産の統一
- Abstract要約: 手話研究の最近の進歩は、複数の手話理解サブタスクを統合する傾向を示している。
言語理解と生産をひとつのフレームワークに統合することは可能か?
統合されたフレームワークは、2つの重要な課題に対処しなければならない。
- 参考スコア（独自算出の注目度）: 16.56134410439223
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in sign language (SL) research have shown a trend toward unifying multiple sign language understanding (SLU) subtasks, such as isolated sign language recognition (ISLR), continuous sign language recognition (CSLR), and sign language translation (SLT), within a single framework, leading to substantial progress. Meanwhile, sign language production (SLP), which generates sign sequences from text, has also attracted growing attention. This naturally raises an important question: can sign language understanding and production be unified within a single framework? Compared with unifying SLU subtasks, this problem is substantially more challenging. Existing SLU tasks largely share the same direction of mapping, namely from sign inputs to linguistic outputs, whereas SLT and SLP lie in opposite directions of sign-text mapping. A unified framework must therefore address two key challenges: (1) bridging the modality gap between continuous sign motions and discrete text tokens through a shared sign tokenizer that supports both linguistic abstraction and motion reconstruction; and (2) learning a single conditional autoregressive model that can take either sign or text as input and generate the corresponding target sequence in the opposite modality. To this end, we propose Uni-SLTP, a unified framework for SLT and SLP with two key components: (1) a shared sign tokenizer that converts sign sequences into discrete tokens and latent representations, capturing both semantic and reconstructive information; and (2) a unified autoregressive generation model that formulates both tasks as conditional sequence generation. Experiments on widely used public datasets show that Uni-SLTP achieves superior motion accuracy for SLP while maintaining competitive SLT performance.
- Abstract（参考訳）: 近年の手話 (SL) 研究は, 孤立手話認識 (ISLR) や連続手話認識 (CSLR) や手話翻訳 (SLT) などの複数の手話理解 (SLU) サブタスクを単一のフレームワークで統合する傾向を示し, 大幅な進歩をもたらした。
一方,テキストから手話を生成する手話生成(SLP)も注目されている。
言語理解と本番環境をひとつのフレームワークに統合できるだろうか?
SLUサブタスクの統一と比較すると、この問題はより困難である。
既存のSLUタスクは、主に手話入力から言語出力までのマッピングの方向を共有するが、SLTとSLPは手話マッピングの反対方向にある。
統合されたフレームワークは,(1) 言語的抽象と運動再構成の両方をサポートする共有符号トークン化器を通じて,連続符号運動と離散テキストトークンのモダリティギャップを埋めること,(2) 符号やテキストを入力として取り出し,対応するターゲットシーケンスを反対のモダリティで生成できる単一条件自己回帰モデルを学ぶこと,の2つの課題に対処する必要がある。
そこで本研究では,SLTとSLPの統一フレームワークであるUni-SLTPを提案する。(1)手話列を個別のトークンと潜在表現に変換し,意味情報と再構成情報の両方をキャプチャし,(2)条件付きシーケンス生成として両タスクを定式化する統一自己回帰生成モデルである。
広く使われている公開データセットの実験により、Uni-SLTPは競争力のあるSLT性能を維持しながら、SLPのより優れた運動精度を達成することが示された。
関連論文リスト
- SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval [20.105725837533722]
textbfSignSeekは、手話によるクロスコーパス検索において、最先端のパフォーマンスを新たに設定する。
全く見えないBritish Sign Language (BSL) へのゼロショットの一般化を実現している。
論文 参考訳（メタデータ） (2026-09-03T11:31:47Z) - MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。
また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。
MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
論文 参考訳（メタデータ） (2026-01-27T13:06:47Z) - Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。
i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
論文 参考訳（メタデータ） (2025-12-08T21:05:46Z) - Text2Sign Diffusion: A Generative Approach for Gloss-Free Sign Language Production [32.99299619724994]
手話生成は、手話文を手話のポーズフレームの列に変換することを目的としている。
既存の方法は、手話の単語やフレーズの象徴的な表現であるグロスに依存している。
グロースフリーSLPのための新しい拡散法であるText2Sign Diffusion(Text2SignDiff)を提案する。
論文 参考訳（メタデータ） (2025-09-13T15:05:19Z) - Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。
単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T18:28:09Z) - MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。
テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。
How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
論文 参考訳（メタデータ） (2024-07-04T13:53:50Z) - Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳（メタデータ） (2023-08-21T15:58:47Z) - Gloss-free Sign Language Translation: Improving from Visual-Language
Pretraining [56.26550923909137]
Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。
視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。
i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
論文 参考訳（メタデータ） (2023-07-27T10:59:18Z) - Word separation in continuous sign language using isolated signs and
post-processing [47.436298331905775]
連続手話認識のための2段階モデルを提案する。
第1段階では、CNN、SVD、LSTMの組み合わせを含む予測モデルが、孤立した標識で訓練される。
第2段階では、モデルの最初の部分から得られたソフトマックス出力に後処理アルゴリズムを適用する。
論文 参考訳（メタデータ） (2022-04-02T18:34:33Z) - Video-based Sign Language Recognition without Temporal Segmentation [88.03159640595187]
本稿では,時間分割の事前処理を不要とする新しい連続符号認識フレームワークを提案する。
提案するLS-HANは,映像特徴表現生成のための2ストリーム畳み込みニューラルネットワーク(CNN),意味ギャップブリッジのための潜時空間,潜在空間に基づく認識のための階層的注意ネットワーク(HAN)の3つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2018-01-30T17:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。