論文の概要: IlluSign: Illustrating Sign Language Videos by Leveraging the Attention Mechanism
- arxiv url: http://arxiv.org/abs/2504.10822v1
- Date: Tue, 15 Apr 2025 02:53:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 22:10:05.648210
- Title: IlluSign: Illustrating Sign Language Videos by Leveraging the Attention Mechanism
- Title（参考訳）: IlluSign: 注意メカニズムを活用することで手話ビデオを描く
- Authors: Janna Bruner, Amit Moryossef, Lior Wolf,
- Abstract要約: 本研究は,手話映像を静的なイラストレーションに変換することを目的としている。
本稿では,画像の意味的側面と幾何学的側面の両方を理解するための生成モデルの能力を活用することで,手話映像を描写する手法を提案する。
我々のアプローチは,手話の映像にイラストのようなスケッチを移すことに重点を置いており,サインの開始フレームと終了フレームを1つのイラストに組み合わせている。
- 参考スコア（独自算出の注目度）: 52.64170845753814
- License:
- Abstract: Sign languages are dynamic visual languages that involve hand gestures, in combination with non manual elements such as facial expressions. While video recordings of sign language are commonly used for education and documentation, the dynamic nature of signs can make it challenging to study them in detail, especially for new learners and educators. This work aims to convert sign language video footage into static illustrations, which serve as an additional educational resource to complement video content. This process is usually done by an artist, and is therefore quite costly. We propose a method that illustrates sign language videos by leveraging generative models' ability to understand both the semantic and geometric aspects of images. Our approach focuses on transferring a sketch like illustration style to video footage of sign language, combining the start and end frames of a sign into a single illustration, and using arrows to highlight the hand's direction and motion. While many style transfer methods address domain adaptation at varying levels of abstraction, applying a sketch like style to sign languages, especially for hand gestures and facial expressions, poses a significant challenge. To tackle this, we intervene in the denoising process of a diffusion model, injecting style as keys and values into high resolution attention layers, and fusing geometric information from the image and edges as queries. For the final illustration, we use the attention mechanism to combine the attention weights from both the start and end illustrations, resulting in a soft combination. Our method offers a cost effective solution for generating sign language illustrations at inference time, addressing the lack of such resources in educational materials.
- Abstract（参考訳）: 手話は、表情のような非手動の要素と組み合わせて手の動きを含む動的視覚言語である。
手話のビデオ記録は、一般的に教育や文書に使われているが、手話の動的な性質は、特に新しい学習者や教育者にとって、それらを詳細に研究することを困難にしている。
本研究は,手話映像を静的なイラストレーションに変換することを目的としている。
このプロセスは通常、アーティストによって行われ、そのため非常にコストがかかる。
本稿では,画像の意味的側面と幾何学的側面の両方を理解するための生成モデルの能力を活用することで,手話映像を描写する手法を提案する。
本手法は手話の映像にイラストのようなスケッチを移し、手話の開始フレームと終了フレームを1つのイラストに組み合わせ、矢印を使って手の動きと方向をハイライトすることに焦点を当てる。
多くのスタイル転送手法は、抽象度の異なるドメイン適応に対処するが、手の動きや表情に手話のようなスタイルを適用することは大きな課題である。
そこで我々は,拡散モデルのデノナイズプロセスに介入し,キーや値のスタイルを高解像度の注目層に注入し,画像やエッジから幾何学的情報をクエリとして融合する。
最終図面では、アテンション機構を用いて、始端図面と終端図面の両方からのアテンション重みを結合し、ソフトな組み合わせとなる。
提案手法は,手話図形を推論時に生成するためのコスト効率のよいソリューションであり,教材にそのような資源が不足していることに対処する。
関連論文リスト
- SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
手話ビデオ処理における永続的な課題は、手話表現の学習方法である。
提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。
我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
論文 参考訳（メタデータ） (2024-06-11T03:00:41Z) - DiffSLVA: Harnessing Diffusion Models for Sign Language Video
Anonymization [33.18321022815901]
テキスト誘導手話ビデオ匿名化のための新しい手法であるDiffSLVAを紹介する。
我々は,署名された言語で言語情報を伝達するために重要な,表情をキャプチャーする専用のモジュールを開発する。
この革新的な方法論は、初めて、現実世界のアプリケーションに使用できる言語ビデオの匿名化を可能にする。
論文 参考訳（メタデータ） (2023-11-27T18:26:19Z) - Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。
本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。
出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
論文 参考訳（メタデータ） (2023-11-21T18:09:30Z) - SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。
我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
論文 参考訳（メタデータ） (2023-08-27T19:44:44Z) - StyleEDL: Style-Guided High-order Attention Network for Image Emotion
Distribution Learning [69.06749934902464]
StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。
StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。
さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
論文 参考訳（メタデータ） (2023-08-06T03:22:46Z) - A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In
Zero Shot [67.00455874279383]
そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。
提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。
ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
論文 参考訳（メタデータ） (2023-05-16T19:13:11Z) - Neural Sign Reenactor: Deep Photorealistic Sign Language Retargeting [28.012212656892746]
本稿では,ある人物の表情,頭部ポーズ,身体の動きを,対象映像の他者へ伝達するニューラルレンダリングパイプラインを提案する。
本手法は手話匿名化,手話生成(合成モジュール),および他の全身活動の再現に利用できる。
論文 参考訳（メタデータ） (2022-09-03T18:04:50Z) - Language-Guided Face Animation by Recurrent StyleGAN-based Generator [87.56260982475564]
本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。
本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
論文 参考訳（メタデータ） (2022-08-11T02:57:30Z) - Towards Automatic Speech to Sign Language Generation [35.22004819666906]
音声セグメントからシグナのポーズを生成するために訓練された多言語トランスフォーマーネットワークを提案する。
我々のモデルは、エンドツーエンドで連続的なサインポーズ列を生成することを学習する。
論文 参考訳（メタデータ） (2021-06-24T06:44:19Z) - Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign
Language Video [43.45785951443149]
難聴者コミュニティが真に理解できるように、手話自動生成システムは、写真リアリスティックなシグナーを生成する必要がある。
我々は、音声言語から直接写真リアリスティックな連続手話ビデオを生成する最初のSLPモデルSignGANを提案する。
次に、ポーズ条件付き人間の合成モデルを導入し、骨格ポーズシーケンスから写真リアルな手話ビデオを生成する。
論文 参考訳（メタデータ） (2020-11-19T14:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。