Fugu-MT 論文翻訳(概要): Pose-Based Sign Language Appearance Transfer

論文の概要: Pose-Based Sign Language Appearance Transfer

arxiv url: http://arxiv.org/abs/2410.13675v1
Date: Thu, 17 Oct 2024 15:33:54 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-18 13:21:47.516637
Title: Pose-Based Sign Language Appearance Transfer
Title（参考訳）: Pose-based Sign Language appearance Transfer
Authors: Amit Moryossef, Gerard Sant, Zifan Jiang,
Abstract要約: 本稿では,手話の骨格ポーズにおいて,手話の内容を保持しながら手話の外観を伝達する手法を提案する。このアプローチは、アイデンティティを難読化しながらポーズベースのレンダリングとサインステッチを改善する。実験の結果,シグナ識別精度は低下するが,シグナ認識性能はわずかに低下することがわかった。
参考スコア（独自算出の注目度）: 5.839722619084469
License:
Abstract: We introduce a method for transferring the signer's appearance in sign language skeletal poses while preserving the sign content. Using estimated poses, we transfer the appearance of one signer to another, maintaining natural movements and transitions. This approach improves pose-based rendering and sign stitching while obfuscating identity. Our experiments show that while the method reduces signer identification accuracy, it slightly harms sign recognition performance, highlighting a tradeoff between privacy and utility. Our code is available at \url{https://github.com/sign-language-processing/pose-anonymization}.
Abstract（参考訳）: 本稿では,手話の骨格ポーズにおいて,手話の内容を保持しながら手話の外観を伝達する手法を提案する。推定されたポーズを用いて、あるシグナの外観を別のシグナに転送し、自然な動きと遷移を維持する。このアプローチは、アイデンティティを難読化しながらポーズベースのレンダリングとサインステッチを改善する。実験の結果,シグナ識別精度は低下するが,シグナ認識性能はわずかに低下し,プライバシとユーティリティのトレードオフが強調されることがわかった。私たちのコードは \url{https://github.com/sign- language-processing/pose-anonymization} で利用可能です。

関連論文リスト

Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
論文参考訳（メタデータ） (2024-06-15T04:50:19Z)
SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
手話ビデオ処理における永続的な課題は、手話表現の学習方法である。提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
論文参考訳（メタデータ） (2024-06-11T03:00:41Z)
Sign Stitching: A Novel Approach to Sign Language Production [35.35777909051466]
本稿では,辞書の例を用いて,表現力のある手話列を生成することを提案する。サインを効果的に縫合するための7段階のアプローチを提案する。我々はSignGANモデルを利用して、出力をフォトリアリスティックシグナにマップする。
論文参考訳（メタデータ） (2024-05-13T11:44:57Z)
Learnt Contrastive Concept Embeddings for Sign Recognition [33.72708697077754]
我々は手話と話し言葉のギャップを埋める手話埋め込みを明示的に作成することに注力する。我々は手話ビデオの言語ラベルに基づく埋め込みの語彙を訓練する。我々は,NLP法から単語埋め込みを活用可能な概念的類似性損失を開発し,音声言語対応に優れた手話を含む手話埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-18T12:47:18Z)
PerSign: Personalized Bangladeshi Sign Letters Synthesis [0.0]
バングラデシュ手話(BdSL)は一般大衆にとって習得が難しい。本稿では,手話のジェスチャーを導入して人のイメージを再現するシステムPerSignを提案する。
論文参考訳（メタデータ） (2022-09-29T07:07:34Z)
Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文参考訳（メタデータ） (2022-08-04T17:55:09Z)
AnonySIGN: Novel Human Appearance Synthesis for Sign Language Video Anonymisation [37.679114155300084]
本稿では,手話ビデオの視覚的外観を匿名化するための自動手法として,手話ビデオ匿名化(SLVA)の課題を紹介する。 SLVAに取り組むために,手話データの視覚的匿名化のための新しいアプローチであるAnonySignを提案する。
論文参考訳（メタデータ） (2021-07-22T13:42:18Z)
Read and Attend: Temporal Localisation in Sign Language Videos [84.30262812057994]
我々は,連続署名ストリームを取り込み,一連の文書トークンを出力するトランスフォーマーモデルを訓練する。入力シーケンス内の符号インスタンスの大規模な語彙に出席する能力を得て,その局所化を可能にすることを示す。
論文参考訳（メタデータ） (2021-03-30T16:39:53Z)
Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文参考訳（メタデータ） (2021-03-16T03:38:17Z)
BSL-1K: Scaling up co-articulated sign language recognition using mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。 BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文参考訳（メタデータ） (2020-07-23T16:59:01Z)
Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。