論文の概要: Sign Language Production with Latent Motion Transformer

• arxiv url: http://arxiv.org/abs/2312.12917v1
• Date: Wed, 20 Dec 2023 10:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 15:49:25.049000
• Title: Sign Language Production with Latent Motion Transformer
• Title（参考訳）: ラテントモーショントランスを用いた手話生成
• Authors: Pan Xie, Taiyi Peng, Yao Du, Qipeng Zhang
• Abstract要約: 我々は、人間のポーズを中間ステップとして使うことなく、高品質なサインビデオを作成する新しい方法を開発した。 まず、ジェネレータから学習し、次に、隠れた機能の順序を理解するために別のモデルを使用します。 従来の最先端手法と比較して、我々のモデルは2つの単語レベル手話データセット上で一貫して性能が向上する。
• 参考スコア（独自算出の注目度）: 2.184775414778289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign Language Production (SLP) is the tough task of turning sign language into sign videos. The main goal of SLP is to create these videos using a sign gloss. In this research, we've developed a new method to make high-quality sign videos without using human poses as a middle step. Our model works in two main parts: first, it learns from a generator and the video's hidden features, and next, it uses another model to understand the order of these hidden features. To make this method even better for sign videos, we make several significant improvements. (i) In the first stage, we take an improved 3D VQ-GAN to learn downsampled latent representations. (ii) In the second stage, we introduce sequence-to-sequence attention to better leverage conditional information. (iii) The separated two-stage training discards the realistic visual semantic of the latent codes in the second stage. To endow the latent sequences semantic information, we extend the token-level autoregressive latent codes learning with perceptual loss and reconstruction loss for the prior model with visual perception. Compared with previous state-of-the-art approaches, our model performs consistently better on two word-level sign language datasets, i.e., WLASL and NMFs-CSL.
• Abstract（参考訳）: 手話生成(SLP)は手話から手話への変換が難しい作業である。 SLPの主なゴールは、サイングラスを使ってこれらのビデオを作成することである。 本研究では,人間のポーズを中間段階として使用せずに高品質なサインビデオを作成する新しい手法を開発した。 まず、ジェネレータとビデオの隠れた機能から学習し、次に別のモデルを使って隠れた機能の順番を理解します。 この手法を手話ビデオでさらに良くするために,我々はいくつかの重要な改良を行った。 (i)第1段階では,3次元VQ-GANを改良し,ダウンサンプリングされた潜在表現を学習する。 (ii)第2段階では,条件情報を活用するために逐次的注意を導入する。 (iii) 分離された二段階訓練は、第2段階における潜在コードの現実的な視覚的意味を破棄する。 潜在シーケンスの意味情報を付与するために,視覚知覚モデルに対する知覚損失と再構成損失を伴うトークンレベルの自己回帰的潜在コード学習を拡張する。 従来の最先端手法と比較して,我々のモデルは,WLASLとNMFs-CSLの2つの単語レベル手話データセットに対して一貫して優れた性能を発揮する。

関連論文リスト

• Language Model Beats Diffusion -- Tokenizer is Key to Visual Generation [122.63617171522316]
  大規模言語モデル(LLM)は、言語における生成タスクの主要なモデルである。 本稿では,ビデオと画像の両方に対して簡潔かつ表現力のあるトークンを生成するために設計されたビデオトークンライザMAGVIT-v2を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T14:10:29Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Gloss Attention for Gloss-free Sign Language Translation [60.633146518820325]
  グロスアノテーションによって手話の翻訳が容易になることを示す。 次に,同じセマンティクスを持つビデオセグメント内で,モデルが注意を維持できるように,エンファングルースアテンションを提案する。 複数の大規模手話データセットに対する実験結果から,提案したGASLTモデルは既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-14T14:07:55Z)
• SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign Language Understanding [132.78015553111234]
  手の動きは手話の表現において重要な役割を担っている。 現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。 モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T17:16:38Z)
• A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition [0.0]
  本稿では,ボディキー点列からリッチな表現を学習するContrastive Transformerベースのモデルを提案する。 実験により、モデルは十分に一般化でき、トレーニングプロセスで見られない手話のクラスに対して、競争的な結果を得ることができた。
  論文  参考訳（メタデータ） (2022-04-05T11:42:55Z)
• SignBERT: Pre-Training of Hand-Model-Aware Representation for Sign Language Recognition [94.30084702921529]
  手振りは手話において重要な役割を担っている。 現在の深層学習に基づく手話認識手法は、解釈可能性に欠ける可能性がある。 SLRに先立って手を入れた初の自己教師型事前訓練型SignBERTを導入する。
  論文  参考訳（メタデータ） (2021-10-11T16:18:09Z)
• Continuous 3D Multi-Channel Sign Language Production via Progressive Transformers and Mixture Density Networks [37.679114155300084]
  サイン言語生産(SLP)は、Deafコミュニティによって真に理解できるサインの連続的な調音と完全な形態の両方を具現化しなければならない。 本稿では,音声言語文から連続した3次元手話ポーズシーケンスへ変換する最初のSLPモデルであるプログレッシブトランスフォーマーアーキテクチャを提案する。 予測ドリフトを低減するための広範なデータ拡張手法と、敵対的なトレーニング体制と、現実的で表現力のあるサインポーズシーケンスを生成するMixture Density Network (MDN) の定式化を紹介します。
  論文  参考訳（メタデータ） (2021-03-11T22:11:17Z)
• Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign Language Video [43.45785951443149]
  難聴者コミュニティが真に理解できるように、手話自動生成システムは、写真リアリスティックなシグナーを生成する必要がある。 我々は、音声言語から直接写真リアリスティックな連続手話ビデオを生成する最初のSLPモデルSignGANを提案する。 次に、ポーズ条件付き人間の合成モデルを導入し、骨格ポーズシーケンスから写真リアルな手話ビデオを生成する。
  論文  参考訳（メタデータ） (2020-11-19T14:31:06Z)
• Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
  単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。