論文の概要: SignRefine: Adapting Foundational Video Models for Sign Language Generation

• arxiv url: http://arxiv.org/abs/2609.08496v1
• Date: Tue, 08 Sep 2026 09:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 16:22:05.451885
• Title: SignRefine: Adapting Foundational Video Models for Sign Language Generation
• Title（参考訳）: SignRefine:手話生成に基礎的ビデオモデルを適用する
• Abstract要約: SignRefineは、手話ビデオ生成モデルであり、2Dキーポイント条件だけで分かりやすい署名を生成する。 我々は手話で生成されたビデオコンテンツの大規模データセットであるNVSignを紹介する。
• 参考スコア（独自算出の注目度）: 19.287012175897235
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sign language video generation demands precise hand and facial articulation, yet modern video diffusion models, trained predominantly on spoken-language video, produce artifacts that render signing unintelligible. We propose SignRefine, a sign language video generation model that produces comprehensible signing from 2D keypoint conditioning alone, generalizing across appearances and visual conditions. Our approach builds on a pretrained video diffusion transformer and introduces local adapters with spatial grounding to selectively refine hand and face regions, steering the strong base model's prior toward accurate articulation. To enable this work and support broader sign language research, we present NVSign, a large-scale dataset of video content natively produced in sign language, offering diverse signer appearances, environments, and natural conversational settings. Trained on this data, our model shows up to 30% improvement in hand pose precision metrics over the strongest baseline and is preferred by sign language users for visual quality and comprehensibility in more than 80% of comparisons.
• Abstract（参考訳）: 手話ビデオ生成は、正確に手話と顔の明瞭さを必要とするが、現代のビデオ拡散モデルは、主に話し言葉のビデオに基づいて訓練され、署名を理解できない人工物を生成する。 本稿では,手話ビデオ生成モデルであるSignRefineを提案する。 提案手法は,事前訓練された映像拡散変換器上に構築され,手と顔の領域を選択的に洗練する空間接地型ローカルアダプタを導入し,強震源モデルの先行を正確な調音に向けて操る。 この作業を可能とし、より広範な手話研究を支援するため、手話でネイティブに生成された大規模ビデオコンテンツのデータセットであるNVSignを紹介し、多様な手話の出現、環境、自然な会話設定を提供する。 このデータに基づいてトレーニングした結果、手作業による最大30%の精度向上が最強のベースラインを上回り、手話利用者が80%以上の比較で視覚的品質と理解性のために好んでいることがわかった。

関連論文リスト

• SignVerse-2M: A Two-Million-Clip Pose-Native Universe of 55+ Sign Languages [28.65355856480869]
  我々は手話ポーズモデリングと評価のための大規模多言語ポーズネイティブデータセットSignVerse-2Mを提案する。 これはDWPoseを統合前処理パイプラインに適用し、生のビデオを2次元のポーズシーケンスに変換し、モデリングに直接使用することができる。 多くの実験室のデータセットとは異なり、このリソースは実世界のビデオの記録条件と話者の多様性を保存する。
  論文  参考訳（メタデータ） (2026-05-03T05:26:26Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。 SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。 SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
  手話ビデオ処理における永続的な課題は、手話表現の学習方法である。 提案手法は,署名者の顔,手,身体のポーズなど,署名ビデオの最も関連性の高い部分のみに焦点を当てる。 我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
  論文  参考訳（メタデータ） (2024-06-11T03:00:41Z)
• Distilling Vision-Language Models on Millions of Videos [62.92789440875999]
  合成した指導データを用いて,映像言語ベースラインから映像言語モデルを微調整する。 ビデオインストラクションチューニング(VIIT)によって生成されたビデオモデルは、高品質なキャプションを生成するために何百万ものビデオの自動ラベル付けに使用される。 副産物として、これまでで最大のビデオキャプションデータセットを生成します。
  論文  参考訳（メタデータ） (2024-01-11T18:59:53Z)
• VideoPoet: A Large Language Model for Zero-Shot Video Generation [78.57171527944774]
  VideoPoetは、高品質なビデオと一致するオーディオを合成できる言語モデルである。 VideoPoetはマルチモーダル入力を処理するデコーダのみのトランスフォーマーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2023-12-21T18:46:41Z)
• Pixel Aligned Language Models [94.32841818609914]
  我々は、位置を入力または出力として捉えることができる視覚言語モデルを開発した。 位置を入力として取ると、モデルが位置条件付きキャプションを実行し、指定対象または領域のキャプションを生成する。 本モデルでは,人間の注意を反映した画素単語対応キャプションを含むLocalized Narrative データセットを事前学習する。
  論文  参考訳（メタデータ） (2023-12-14T18:57:58Z)
• DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization [33.18321022815901]
  テキスト誘導手話ビデオ匿名化のための新しい手法であるDiffSLVAを紹介する。 我々は,署名された言語で言語情報を伝達するために重要な,表情をキャプチャーする専用のモジュールを開発する。 この革新的な方法論は、初めて、現実世界のアプリケーションに使用できる言語ビデオの匿名化を可能にする。
  論文  参考訳（メタデータ） (2023-11-27T18:26:19Z)
• VideoCon: Robust Video-Language Alignment via Contrast Captions [80.08882631838914]
  ビデオ言語アライメントモデルは、ビデオキャプションのセマンティックなコントラスト変化に対して堅牢ではない。 私たちの研究は、エンティティの置換やアクション、イベント順序の反転など、幅広いコントラストのミスアライメントを特定します。 本モデルは,時間的に拡大したビデオ言語タスクにおけるゼロショット性能の新たな状態を設定する。
  論文  参考訳（メタデータ） (2023-11-15T19:51:57Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• Can Everybody Sign Now? Exploring Sign Language Video Generation from 2D Poses [0.0]
  2Dポーズスケルトンでサインランゲージを実行する署名者のビデオを生成するために、モーション転送にDeep Learningの最先端の技術を使用します。 生成した動画を定量的かつ定性的に評価し、現状のモデルが手話の細部が不足しているため、手話で十分な動画を生成するには不十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-20T14:43:32Z)
• Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign Language Video [43.45785951443149]
  難聴者コミュニティが真に理解できるように、手話自動生成システムは、写真リアリスティックなシグナーを生成する必要がある。 我々は、音声言語から直接写真リアリスティックな連続手話ビデオを生成する最初のSLPモデルSignGANを提案する。 次に、ポーズ条件付き人間の合成モデルを導入し、骨格ポーズシーケンスから写真リアルな手話ビデオを生成する。
  論文  参考訳（メタデータ） (2020-11-19T14:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。