Fugu-MT 論文翻訳(概要): DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization

論文の概要: DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization

arxiv url: http://arxiv.org/abs/2311.16060v1
Date: Mon, 27 Nov 2023 18:26:19 GMT
ステータス: 処理完了
システム内更新日: 2023-11-28 13:51:28.195720
Title: DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization
Title（参考訳）: DiffSLVA:手話ビデオ匿名化のための拡散モデル
Authors: Zhaoyang Xia, Carol Neidle, Dimitris N. Metaxas
Abstract要約: テキスト誘導手話ビデオ匿名化のための新しい手法であるDiffSLVAを紹介する。我々は,署名された言語で言語情報を伝達するために重要な,表情をキャプチャーする専用のモジュールを開発する。この革新的な方法論は、初めて、現実世界のアプリケーションに使用できる言語ビデオの匿名化を可能にする。
参考スコア（独自算出の注目度）: 33.18321022815901
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Since American Sign Language (ASL) has no standard written form, Deaf signers frequently share videos in order to communicate in their native language. However, since both hands and face convey critical linguistic information in signed languages, sign language videos cannot preserve signer privacy. While signers have expressed interest, for a variety of applications, in sign language video anonymization that would effectively preserve linguistic content, attempts to develop such technology have had limited success, given the complexity of hand movements and facial expressions. Existing approaches rely predominantly on precise pose estimations of the signer in video footage and often require sign language video datasets for training. These requirements prevent them from processing videos 'in the wild,' in part because of the limited diversity present in current sign language video datasets. To address these limitations, our research introduces DiffSLVA, a novel methodology that utilizes pre-trained large-scale diffusion models for zero-shot text-guided sign language video anonymization. We incorporate ControlNet, which leverages low-level image features such as HED (Holistically-Nested Edge Detection) edges, to circumvent the need for pose estimation. Additionally, we develop a specialized module dedicated to capturing facial expressions, which are critical for conveying essential linguistic information in signed languages. We then combine the above methods to achieve anonymization that better preserves the essential linguistic content of the original signer. This innovative methodology makes possible, for the first time, sign language video anonymization that could be used for real-world applications, which would offer significant benefits to the Deaf and Hard-of-Hearing communities. We demonstrate the effectiveness of our approach with a series of signer anonymization experiments.
Abstract（参考訳）: American Sign Language (ASL) は標準の書式を持たないため、Deafシグナーはネイティブ言語でのコミュニケーションのために頻繁にビデオを共有する。しかし、手と顔の両方が署名言語で重要な言語情報を伝達しているため、手話ビデオは署名者のプライバシーを保持することはできない。署名者は興味を示してきたが、手の動きや表情の複雑さを考えると、手話ビデオの匿名化が効果的に言語コンテンツを保存しようとする試みは、成功に至らなかった。既存のアプローチは、ビデオ映像におけるシグナーの正確なポーズ推定に大きく依存しており、しばしばトレーニングのために手話ビデオデータセットを必要とする。これらの要件は、現在の手話ビデオデータセットに存在する多様性が限られているため、動画を「野放しで」処理することを妨げる。そこで本研究では,ゼロショットテキストガイドによる手話ビデオの匿名化のために,事前学習した大規模拡散モデルを用いた新しい手法diffslvaを提案する。我々は,HED(Holistically-Nested Edge Detection)エッジなどの低レベルの画像特徴を活用するControlNetを導入し,ポーズ推定の必要性を回避する。さらに,署名された言語で重要な言語情報を伝えるために重要な,表情をキャプチャーする専用のモジュールを開発する。次に、上記の手法を組み合わせて匿名化を実現し、元のシグナの本質的な言語内容をよりよく保存する。この革新的な手法は、初めて現実世界のアプリケーションで使える手話ビデオの匿名化を可能にし、聴覚障害者や聴覚障害者のコミュニティに大きな利益をもたらす。我々は, シグナー匿名化実験によるアプローチの有効性を示す。

関連論文リスト

Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
論文参考訳（メタデータ） (2024-08-16T06:04:25Z)
EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
論文参考訳（メタデータ） (2024-07-17T14:16:35Z)
SignCLIP: Connecting Text and Sign Language by Contrastive Learning [39.72545568965546]
SignCLIPは、大規模な多言語ビデオテキストペアから手話処理に有用な視覚表現を学習する効率的な方法である。 SpreadthesignでSignCLIPを事前訓練し,最大44の手話で5万本のビデオクリップを収録した手話辞書を作成した。我々は、音声言語テキストと手話ポーズによって形成される潜伏空間を分析し、さらなる言語学的洞察を提供する。
論文参考訳（メタデータ） (2024-07-01T13:17:35Z)
SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
手話ビデオ処理における永続的な課題は、手話表現の学習方法である。提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
論文参考訳（メタデータ） (2024-06-11T03:00:41Z)
Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文参考訳（メタデータ） (2022-08-04T17:55:09Z)
Sign Language Video Retrieval with Free-Form Textual Queries [19.29003565494735]
本稿では,自由形式のテキストクエリを用いた手話検索の課題について紹介する。目的は、書かれたクエリに最もよくマッチする、コレクション内の署名ビデオを見つけることである。本研究では,SPOT-ALIGNを提案する。SPOT-ALIGNは,利用可能なトレーニングデータの範囲と規模を拡大するために,符号スポッティングと特徴アライメントの反復ラウンドをインターリーブするフレームワークである。
論文参考訳（メタデータ） (2022-01-07T15:22:18Z)
SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
論文参考訳（メタデータ） (2021-12-08T11:04:52Z)
AnonySIGN: Novel Human Appearance Synthesis for Sign Language Video Anonymisation [37.679114155300084]
本稿では,手話ビデオの視覚的外観を匿名化するための自動手法として,手話ビデオ匿名化(SLVA)の課題を紹介する。 SLVAに取り組むために,手話データの視覚的匿名化のための新しいアプローチであるAnonySignを提案する。
論文参考訳（メタデータ） (2021-07-22T13:42:18Z)
Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign Language Video [43.45785951443149]
難聴者コミュニティが真に理解できるように、手話自動生成システムは、写真リアリスティックなシグナーを生成する必要がある。我々は、音声言語から直接写真リアリスティックな連続手話ビデオを生成する最初のSLPモデルSignGANを提案する。次に、ポーズ条件付き人間の合成モデルを導入し、骨格ポーズシーケンスから写真リアルな手話ビデオを生成する。
論文参考訳（メタデータ） (2020-11-19T14:31:06Z)
Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文参考訳（メタデータ） (2020-10-08T14:12:56Z)
Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。