Fugu-MT 論文翻訳(概要): Autoregressive Sign Language Production: A Gloss-Free Approach with Discrete Representations

論文の概要: Autoregressive Sign Language Production: A Gloss-Free Approach with Discrete Representations

arxiv url: http://arxiv.org/abs/2309.12179v2
Date: Sat, 8 Jun 2024 12:33:11 GMT
ステータス: 処理完了
システム内更新日: 2024-06-12 05:19:21.046050
Title: Autoregressive Sign Language Production: A Gloss-Free Approach with Discrete Representations
Title（参考訳）: 自己回帰手話生成:離散表現を用いたグロスフリーアプローチ
Authors: Eui Jun Hwang, Huije Lee, Jong C. Park,
Abstract要約: グロスフリー手話生成(SLP)は、手話文を直接手話に翻訳する。本稿では、ベクトル量子化を利用して、符号ポーズ列から離散表現を導出する新しいSLP手法を提案する。
参考スコア（独自算出の注目度）: 8.254354613959224
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gloss-free Sign Language Production (SLP) offers a direct translation of spoken language sentences into sign language, bypassing the need for gloss intermediaries. This paper presents the Sign language Vector Quantization Network, a novel approach to SLP that leverages Vector Quantization to derive discrete representations from sign pose sequences. Our method, rooted in both manual and non-manual elements of signing, supports advanced decoding methods and integrates latent-level alignment for enhanced linguistic coherence. Through comprehensive evaluations, we demonstrate superior performance of our method over prior SLP methods and highlight the reliability of Back-Translation and Fr\'echet Gesture Distance as evaluation metrics.
Abstract（参考訳）: Gloss-free Sign Language Production (SLP)は、音声言語文の手話への直接翻訳を提供する。本稿では手話ベクトル量子化ネットワーク(Sign Language Vector Quantization Network)を提案する。本手法は手動と非手動の両方に根ざし,高度な復号法をサポートし,言語コヒーレンスを高めるために潜在レベルアライメントを統合する。総合評価を通じて,従来のSLP法よりも優れた性能を示し,Back-TranslationとFr'echet Gesture Distanceの信頼性を評価指標として強調する。

関連論文リスト

MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。 How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
論文参考訳（メタデータ） (2024-07-04T13:53:50Z)
A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
論文参考訳（メタデータ） (2024-05-16T17:19:06Z)
A Data-Driven Representation for Sign Language Production [26.520016084139964]
手話生産は、手話文を自動的に手話の連続配列に変換することを目的としている。現在の最先端のアプローチは、作業する言語資源の不足に依存しています。本稿では,連続ポーズ生成問題を離散列生成問題に変換することによって,革新的な解を提案する。
論文参考訳（メタデータ） (2024-04-17T15:52:38Z)
Sign Language Translation with Iterative Prototype [104.76761930888604]
IP-SLTは手話翻訳のためのシンプルだが効果的なフレームワークである我々の考えは、人間の読みの振る舞いを模倣し、文を何度も消化して、正確な理解を得るというものである。
論文参考訳（メタデータ） (2023-08-23T15:27:50Z)
Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
論文参考訳（メタデータ） (2023-07-27T10:59:18Z)
Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Photo-Realistic Sign Language Production [43.45785951443149]
手話は視覚言語であり、語彙は話し言葉と同じくらい豊かである。現在の深層学習に基づく手話生成(SLP)モデルでは、アンダーアーティキュレートされたスケルトンポーズシーケンスが生成される。我々は,辞書記号間の協調処理を学習することで,大規模SLPに取り組む。また,ポーズ条件付き人間の合成モデルであるSignGANを提案する。
論文参考訳（メタデータ） (2022-03-29T08:51:38Z)
Improving Sign Language Translation with Monolingual Data by Sign Back-Translation [105.83166521438463]
本稿では,手話テキストを手話訓練に組み込んだ手話逆翻訳(SignBT)手法を提案する。テキストからグロスへの翻訳モデルを用いて、まずモノリンガルテキストをそのグロスシーケンスに逆変換する。そして、推定グロス・トゥ・サインバンクから特徴レベルで部品をスプライシングしてペアサインシーケンスを生成する。
論文参考訳（メタデータ） (2021-05-26T08:49:30Z)
Continuous 3D Multi-Channel Sign Language Production via Progressive Transformers and Mixture Density Networks [37.679114155300084]
サイン言語生産(SLP)は、Deafコミュニティによって真に理解できるサインの連続的な調音と完全な形態の両方を具現化しなければならない。本稿では,音声言語文から連続した3次元手話ポーズシーケンスへ変換する最初のSLPモデルであるプログレッシブトランスフォーマーアーキテクチャを提案する。予測ドリフトを低減するための広範なデータ拡張手法と、敵対的なトレーニング体制と、現実的で表現力のあるサインポーズシーケンスを生成するMixture Density Network (MDN) の定式化を紹介します。
論文参考訳（メタデータ） (2021-03-11T22:11:17Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Adversarial Training for Multi-Channel Sign Language Production [43.45785951443149]
本稿では,手話生成に対する逆多重チャネルアプローチを提案する。我々は,変圧器ベースジェネレータと条件判別器との間のミニマックスゲームとして,符号生成を行う。逆微分器は、原文で条件付けられた符号生成の現実性を評価し、生成元を現実的で明瞭な出力にプッシュする。
論文参考訳（メタデータ） (2020-08-27T23:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。