論文の概要: SeRV: Semantic-Aligned Residual Vector Quantization for American Sign Language Generation

• arxiv url: http://arxiv.org/abs/2609.05742v1
• Date: Fri, 04 Sep 2026 21:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.126937
• Title: SeRV: Semantic-Aligned Residual Vector Quantization for American Sign Language Generation
• Title（参考訳）: SeRV: アメリカの手話生成のためのセマンティックアライズド残差ベクトル量子化
• Abstract要約: SeRVは、アメリカ手話生成のためのセマンティック・アラインなRVQトークンである。 文レベルの動作テキストアライメントとトークンレベルのテキストコンディショニングを組み合わせることで,意味的に構造化された残トークン空間を学習する。 テキストから直接意味的に一貫した3D ASLモーションを生成する。
• 参考スコア（独自算出の注目度）: 16.011600536846434
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: American Sign Language (ASL) generation remains challenging due to limited paired text-ASL motion data and the difficulty of learning motion representations both precise for reconstruction and predictable from linguistic input. Existing methods rely on motion tokenizers optimized for reconstruction, without explicit semantic supervision from paired text. As a result, the learned tokens remain limited in supporting semantically consistent and fine-grained ASL motion generation. To address this limitation, we propose SeRV (Semantic-Aligned Residual Vector Quantization), a semantic-aligned RVQ tokenizer for ASL generation. SeRV learns a semantically structured residual token space by combining sentence-level motion-text alignment with token-level text-conditioned supervision. Building on this tokenizer, a Hierarchical GPT predicts residual motion tokens in a coarse-to-fine manner, generating structurally coherent and semantically aligned 3D ASL motion. We further construct a large-scale reconstructed 3D ASL motion-text benchmark by recovering paired 3D motion from YouTube-ASL videos. Experiments across 375 hours of ASL video show that SeRV achieves state-of-the-art pose accuracy on both How2Sign and YouTube-ASL datasets, while producing semantically consistent 3D ASL motion directly from text.
• Abstract（参考訳）: American Sign Language (ASL) の生成は、テキスト-ASL 動作データに制限があることや、復元に正確かつ言語入力から予測可能な動作表現の学習が困難であることから、依然として困難である。 既存の手法は、ペア化されたテキストからの明示的な意味的監督なしに、再構成に最適化されたモーショントークン化器に依存している。 その結果、学習トークンは意味的に一貫性があり、粒度の細かいALLモーション生成をサポートする場合に制限される。 この制限に対処するため、ASL生成のためのセマンティックなRVQトークンであるSeRV(Semantic-Aligned Residual Vector Quantization)を提案する。 SeRVは、文レベルのモーションテキストアライメントとトークンレベルのテキストコンディショニングを組み合わせることで、意味的に構造化された残トークン空間を学習する。 このトークン化器の上に構築された階層型GPTは、粗い方法で残留する動きトークンを予測し、構造的に一貫性があり、セマンティックに整合した3D ASL運動を生成する。 さらに、YouTube-ASLビデオからペア3Dモーションを復元し、大規模に再構成された3D ASLモーションテキストベンチマークを構築した。 ASLビデオの375時間にわたる実験によると、SeRVはHow2SignとYouTube-ASLの両方のデータセットで最先端の精度を実現し、テキストから直接意味的に一貫した3D ASLモーションを生成する。

関連論文リスト

• SignMimic: Robust High-Quality Sign Language Motion Generation via Human-Shape-Oblivious Pose Transfer Guidance [7.47809638392782]
  我々は、運転と単一の参照フレームが与えられたら、ターゲットシグナが元の動きを再現する映像を合成する、手話模倣の課題について研究する。 以前のパイプラインは、剛性運動、非剛性変形、およびモノリシック発電機におけるビュー依存補完を絡み合わせる。 i)大域的なポーズを安定させるためにTNetモデルを適用したSgnimic(i)、(ii)細粒度調音器(手/顔)とNIF2Dによる結節の保存のために標準空間で厳密な適応を行うSgnimic(iii)、(iii)について述べる。
  論文  参考訳（メタデータ） (2026-09-12T19:57:16Z)
• VTaMo: Video-Text Alignment Model for Sign Language Translation [5.958007180153739]
  VTaMoは,3段階の明示的な多粒度アライメントを実現するフレームワークである。 Phoenix-2014T、CSL-Daily、How2Sign、OpenASLの実験は、一貫した最先端性能を示している。
  論文  参考訳（メタデータ） (2026-07-10T06:30:50Z)
• SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning [54.232148007248874]
  現在の手話生産(SLP)フレームワークは、まさにトレードオフに直面している。 本研究では,スペースを利用した新たなトレーニングパラダイムを提案し,人間の署名の真の基盤となる分布を捉える。 これらの離散的なアンカーから高密度な動きを予測することにより、流体の調音を確実にしながら、回帰から平均への移動を緩和する。
  論文  参考訳（メタデータ） (2026-03-11T06:02:36Z)
• MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
  本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。 また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。 MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
  論文  参考訳（メタデータ） (2026-01-27T13:06:47Z)
• Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
  我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。 i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
  論文  参考訳（メタデータ） (2025-12-08T21:05:46Z)
• Stable Signer: Hierarchical Sign Language Generative Model [26.707989581304734]
  従来の冗長構造を合理化し、タスクの目的を単純化し、最適化し、Stable Signerと呼ばれる新しい手話生成モデルを設計する。 SLPタスクを、テキスト理解のみを含む階層的なエンドツーエンドタスクとして再定義する。 SLP-MoEハンドジェスチャレンダリングエキスパートブロックを通じて手ジェスチャーを生成し、エンドツーエンドで高品質でマルチスタイルの手話ビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-03T18:33:40Z)
• Advanced Sign Language Video Generation with Compressed and Quantized Multi-Condition Tokenization [20.063863466319326]
  SignViPは、複数のきめ細かい条件を組み込んだ新しいフレームワークである。 SignViPは、ビデオ品質の時間的コヒーレンスやセマンティクスの忠実さなど、メトリクス間の最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-19T02:56:06Z)
• GLOS: Sign Language Generation with Temporally Aligned Gloss-Level Conditioning [60.86278956347739]
  GLOSは手話生成フレームワークであり、時間的に並んだ光沢レベル条件付けを備えている。 本手法は,CSL-Daily と Phoenix-2014T の先行手法よりも高い精度で,正しい語彙順と高い意味精度の符号を生成する。
  論文  参考訳（メタデータ） (2025-06-09T06:09:03Z)
• TSLFormer: A Lightweight Transformer Model for Turkish Sign Language Recognition Using Skeletal Landmarks [0.3749861135832072]
  TSLFormerは、手話のジェスチャーを順序づけられた文字列のような言語として扱う。 メソッドは、GoogleのMediapipeライブラリから抽出された3Dジョイントポジションでのみ動作する。 その結果, 聴覚障害者を対象としたリアルタイム, 移動型, 支援型コミュニケーションシステムの実現には, 共同入力が十分であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-11T14:30:56Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Video-based Sign Language Recognition without Temporal Segmentation [88.03159640595187]
  本稿では,時間分割の事前処理を不要とする新しい連続符号認識フレームワークを提案する。 提案するLS-HANは,映像特徴表現生成のための2ストリーム畳み込みニューラルネットワーク(CNN),意味ギャップブリッジのための潜時空間,潜在空間に基づく認識のための階層的注意ネットワーク(HAN)の3つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2018-01-30T17:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。