論文の概要: A Transformer-Based Framework for Greek Sign Language Production using Extended Skeletal Motion Representations

• arxiv url: http://arxiv.org/abs/2503.02421v1
• Date: Tue, 04 Mar 2025 09:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:20.358465
• Title: A Transformer-Based Framework for Greek Sign Language Production using Extended Skeletal Motion Representations
• Title（参考訳）: 拡張骨格運動表現を用いたギリシャ手話生成のためのトランスフォーマーベースフレームワーク
• Authors: Chrysa Pratikaki, Panagiotis Filntisis, Athanasios Katsamanis, Anastasios Roussos, Petros Maragos,
• Abstract要約: 我々は手話生産(SLP)のためのディープラーニングモデルを提案する。 テキスト入力から人間のポーズキーポイントへの変換を可能にするトランスフォーマーベースのアーキテクチャを用いて,この課題に対処する。 提案したパイプラインの有効性を,ギリシャのSLデータセットAusly23上で評価した。
• 参考スコア（独自算出の注目度）: 22.8394743236952
• License:
• Abstract: Sign Languages are the primary form of communication for Deaf communities across the world. To break the communication barriers between the Deaf and Hard-of-Hearing and the hearing communities, it is imperative to build systems capable of translating the spoken language into sign language and vice versa. Building on insights from previous research, we propose a deep learning model for Sign Language Production (SLP), which to our knowledge is the first attempt on Greek SLP. We tackle this task by utilizing a transformer-based architecture that enables the translation from text input to human pose keypoints, and the opposite. We evaluate the effectiveness of the proposed pipeline on the Greek SL dataset Elementary23, through a series of comparative analyses and ablation studies. Our pipeline's components, which include data-driven gloss generation, training through video to text translation and a scheduling algorithm for teacher forcing - auto-regressive decoding seem to actively enhance the quality of produced SL videos.
• Abstract（参考訳）: サイン言語は、世界中の聴覚障害者コミュニティにとって主要なコミュニケーション形態である。 難聴者と難聴者コミュニティ間のコミュニケーション障壁を断ち切るためには、話し言葉を手話に翻訳できるシステムを構築することが不可欠である。 従来の研究から得られた知見に基づいて,我々は手話生産(SLP)の深層学習モデルを提案する。 テキスト入力から人間のポーズキーポイントへの変換を可能にするトランスフォーマーベースのアーキテクチャを活用して,この課題に対処する。 本研究は,ギリシャのSLデータセットAusly23におけるパイプラインの有効性を,比較分析およびアブレーション研究を通じて評価した。 パイプラインのコンポーネントには、データ駆動の光沢生成、ビデオからテキストへの変換によるトレーニング、教師強制のスケジューリングアルゴリズムなどが含まれています。

関連論文リスト

• Real-Time Multilingual Sign Language Processing [4.626189039960495]
  手話処理(SLP)は、自然言語処理(NLP)とコンピュータビジョンからなる学際分野である。 伝統的なアプローチは、言語固有のものであり、手話の多次元的な性質を捉えるのに不十分なグロスベースのシステムを使用することによって、しばしば制約されてきた。 本稿では,手話文字起こし表記システムであるSignWiringを,手話の視覚・ジェスチャーのモダリティとテキストに基づく言語表現の中間的リンクとして用いることを提案する。
  論文  参考訳（メタデータ） (2024-12-02T21:51:41Z)
• T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text [59.57676466961787]
  本稿では,手話における情報密度に基づいて符号化長を調整できる新しい動的ベクトル量子化(DVA-VAE)モデルを提案する。 PHOENIX14Tデータセットを用いて実験を行い,提案手法の有効性を示した。 我々は,486時間の手話ビデオ,音声,文字起こしテキストを含むドイツ語手話データセットPHOENIX-Newsを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:06:53Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
  エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。 署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。 本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:34:18Z)
• EC^2: Emergent Communication for Embodied Control [72.99894347257268]
  エージェントはマルチモーダル・プレトレーニングを活用して、新しい環境でどのように振る舞うかを素早く学ぶ必要がある。 本稿では,数発のエンボディドコントロールのためのビデオ言語表現を事前学習するための新しいスキームであるEmergent Communication for Embodied Control (EC2)を提案する。 EC2は、タスク入力としてビデオとテキストの両方の従来のコントラスト学習手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-04-19T06:36:02Z)
• All You Need In Sign Language Production [50.3955314892191]
  言語認識と生産のサインは、いくつかの重要な課題に対処する必要があります。 本稿では,難聴文化,難聴センター,手話の心理的視点について紹介する。 また、SLPのバックボーンアーキテクチャや手法を簡潔に紹介し、SLPの分類について提案する。
  論文  参考訳（メタデータ） (2022-01-05T13:45:09Z)
• Continuous 3D Multi-Channel Sign Language Production via Progressive Transformers and Mixture Density Networks [37.679114155300084]
  サイン言語生産(SLP)は、Deafコミュニティによって真に理解できるサインの連続的な調音と完全な形態の両方を具現化しなければならない。 本稿では,音声言語文から連続した3次元手話ポーズシーケンスへ変換する最初のSLPモデルであるプログレッシブトランスフォーマーアーキテクチャを提案する。 予測ドリフトを低減するための広範なデータ拡張手法と、敵対的なトレーニング体制と、現実的で表現力のあるサインポーズシーケンスを生成するMixture Density Network (MDN) の定式化を紹介します。
  論文  参考訳（メタデータ） (2021-03-11T22:11:17Z)
• Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign Language Video [43.45785951443149]
  難聴者コミュニティが真に理解できるように、手話自動生成システムは、写真リアリスティックなシグナーを生成する必要がある。 我々は、音声言語から直接写真リアリスティックな連続手話ビデオを生成する最初のSLPモデルSignGANを提案する。 次に、ポーズ条件付き人間の合成モデルを導入し、骨格ポーズシーケンスから写真リアルな手話ビデオを生成する。
  論文  参考訳（メタデータ） (2020-11-19T14:31:06Z)
• Progressive Transformers for End-to-End Sign Language Production [43.45785951443149]
  自動手話生成(SLP)の目的は、音声言語を手話ビデオの連続ストリームに変換することである。 主に孤立したSLPに関する以前の研究は、完全な符号列の連続領域により適したアーキテクチャの必要性を示している。 本稿では,手話を表す音声文から連続的な3Dスケルトンへの変換が可能な新しいアーキテクチャであるProgressive Transformersを提案する。
  論文  参考訳（メタデータ） (2020-04-30T15:20:25Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。