論文の概要: Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation

• arxiv url: http://arxiv.org/abs/2607.13164v1
• Date: Tue, 14 Jul 2026 18:15:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.561413
• Title: Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation
• Title（参考訳）: Text2Sign: テキスト-手話ビデオ生成のための単一GPU拡散ベースライン
• Abstract要約: 手話は、何百万人もの聴覚障害者にとって主要なコミュニケーションチャネルである。 本稿では,短い手話クリップのためのテキスト条件付きビデオ拡散モデルであるText2Signについて述べる。 32フレームと64$のクリップを12.60秒で生成し、毎秒2.54フレーム、ピーク推論メモリは3.12GBである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign language is a primary communication channel for millions of Deaf and hard-of-hearing people, yet text-to-signer video generation remains costly because video diffusion models are expensive to train and evaluate. This paper presents Text2Sign, a text-conditioned diffusion model for short sign-language clips that runs on a single NVIDIA L4 GPU. It combines a frozen vision-language text encoder with a 3D encoder-decoder and factorized spatiotemporal attention to reduce the cost of full-video attention while preserving motion coherence. We compare convolution-only and transformer-style backbones, frozen pretrained and task-specific text encoders, and factorized versus full attention. On a signer-disjoint How2Sign split, the best short-run ablation reaches a validation loss of 0.0648, while a longer-run checkpoint reaches 0.00999. On a compact evaluation slice, the latter achieves an SSIM of $0.2403 \pm 0.0238$, a PSNR of $15.11 \pm 0.42$ dB, and temporal consistency of $1.0000 \pm 0.0000$ using 8-step DDIM sampling with a guidance scale of 5.0. It generates a 32-frame, $64 \times 64$ clip in 12.60 seconds, or 2.54 frames per second, with peak inference memory of 3.12 GB. A held-out denoising audit shows only weak prompt sensitivity: removing text increases late-timestep loss from 0.9875 to 0.9891, while shuffled prompts perform similarly to correct prompts. Frozen text conditioning therefore improves short-budget validation loss, but prompt-specific separation remains limited. The system is restricted to low-resolution, short clips and lacks expert linguistic evaluation, so it should be viewed as a single-GPU research baseline rather than a complete sign-language production system. Code is available at https://github.com/xiaruize0911/text2sign.
• Abstract（参考訳）: 手話は、何百万人もの難聴者や難聴者にとって主要なコミュニケーションチャネルであるが、ビデオ拡散モデルは訓練や評価に高価であるため、テキスト・トゥ・シグナーのビデオ生成はコストがかかる。 本稿では,1つのNVIDIA L4 GPU上で動作する短い手話クリップのためのテキスト条件拡散モデルであるText2Signを提案する。 凍結した視覚言語テキストエンコーダと3Dエンコーダデコーダを組み合わせることで、モーションコヒーレンスを保ちながらフルビデオアテンションのコストを削減する。 コンボリューションのみとトランスフォーマースタイルのバックボーン,凍結した事前学習とタスク固有のテキストエンコーダを比較し,注意度と注意度を比較した。 シグナー非結合のHow2Signの分割では、最高のショートランアブレーションは0.0648のバリデーションロスに達し、ロングランチェックポイントは0.00999に達する。 コンパクトな評価スライスでは、SSIMは0.2403 \pm 0.0238$、PSNRは15.11 \pm 0.42$ dB、時間一貫性は1.0000 \pm 0.0000$で、ガイダンススケールは5.0である。 32フレームの64ドルクリップを12.60秒で生成し、毎秒2.54フレーム、ピーク推論メモリは3.12GBである。 テキストの削除は遅延時間の損失を0.9875から0.9891に増加させ、シャッフルプロンプトは正しいプロンプトと同様に実行される。 そのため、凍結したテキストコンディショニングは短期間の検証損失を改善するが、迅速な分離は限定的である。 システムは低解像度で短いクリップに制限されており、専門家による言語評価を欠いているため、完全な手話生産システムではなく、単一のGPU研究ベースラインと見なされるべきである。 コードはhttps://github.com/xiaruize0911/text2signで入手できる。

関連論文リスト

• Fusion Embedding: A Unified Embedding Space for Text, Image, Video, and Audio [0.0]
  視覚言語によるバックボーン上に構築された埋め込みモデルは、テキスト/イメージ/ビデオ検索ベンチマークをリードするが、音声を完全に欠いている。 我々は、パラメータが更新されない凍結視覚言語埋め込みベースにオーディオを追加するFusion Embeddingファミリを提示する。 ベースはテキスト、画像、ビデオにすでに結びついているので、音声とテキストの整列だけでオーディオ画像検索が実現し、ペアのオーディオと視覚のトレーニングデータがゼロになる。
  論文  参考訳（メタデータ） (2026-07-21T03:25:34Z)
• A POS Tier Is the Key to Automated Annotation for Low-Resource Language Documentation: Neural Interlinear Glossing for Irabu, a Southern Ryukyuan Language [0.0]
  我々はIrabu Ryukyuanのための完全なニューラルネットワークパイプライン(形態素セグメンテーション、POSタグ付け、光沢化)を実装した。 約1時間の完全注釈付き談話を教師付き資源として,現実的な制約の下で評価した。 注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注:注
  論文  参考訳（メタデータ） (2026-07-15T01:33:25Z)
• Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation [47.89773944016192]
  音声トークンは時間的に冗長であり、マッチした意味論の下でのテキストよりもはるかに長い。 表現選択問題として音声トークンの設計について検討する。 中間層表現アライメントを持つ4.17,Hzの音声QAにおいて,一貫した最良状態が観察される。
  論文  参考訳（メタデータ） (2026-06-10T15:19:15Z)
• Continuous Language Diffusion as a Decoder-Interface Problem [9.603960937964183]
  連続拡散言語モデルはガウス崩壊文の埋め込みから流動的なテキストを生成することができる。 組込み言語フロー(ELF)を用いてこのパズルを学習し,デコーダベース機構を同定する。 本稿では,難読性,セマンティックリカバリ性,順序感度,デコーダの互換性,トラジェクトリ信頼性の診断プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-07T20:00:33Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs [90.77662862634509]
  LiteFrameは、ビデオ大言語モデルのための強力な、しかし非常に効率的なバックボーンである。 LiteFrameはエンドツーエンドのレイテンシを35%削減し、8$times$より多くのフレームを処理する。 計算予算の固定化により,より長めの映像理解を解き明かす可能性を示した。
  論文  参考訳（メタデータ） (2026-05-17T05:02:52Z)
• Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
  LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
  論文  参考訳（メタデータ） (2026-04-20T12:29:53Z)
• Semantic Event Graphs for Long-Form Video Question Answering [0.0]
  本稿では,ビデオと言語間の軽量なシンボリックインタフェースを提案する。 我々のパイプラインは、YOLOv11でオブジェクトを検出し追跡し、近接パターンをSTART/ENDのヒューマンオブジェクトイベントに変換し、それらをテンポラルシーングラフ(TSG)に整理する。 5つのYouTubeビデオ(それぞれ300-500のインタラクション)と120のロングホライゾンの質問が自動生成され、SEG 65.0%の精度はクエリ毎に3.47kトークンしか使用せず、全ログベースラインと密に一致し、トークン使用率を91.4%削減した。
  論文  参考訳（メタデータ） (2026-01-02T00:11:03Z)
• IsoSignVid2Aud: Sign Language Video to Audio Conversion without Text Intermediaries [0.0]
  音声言語への手話翻訳は、聴覚障害者と音声障害者を繋ぐ上で重要である。 我々は連続的な文法的な署名よりも、孤立した手話列を持つ手話ビデオを考える。 IsoSignVid2Audは手話ビデオの非文法的連続符号列を音声に変換する新しいエンドツーエンドフレームワークである。
  論文  参考訳（メタデータ） (2025-10-09T06:29:59Z)
• RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning [77.59074909960913]
  Retrieval-Enhanced Test-Time Adaptation (RETTA) と呼ばれる新しいゼロショットビデオキャプションフレームワークを提案する。 一般的なビデオテキスト検索モデルXCLIP、一般的な画像テキストマッチングモデルCLIP、テキストアライメントモデルAnglE、テキスト生成モデルGPT-2の4つのキーモデルを用いてビデオとテキストをブリッジする。 そこで本研究では,GPT-2,XCLIP,CLIP,AnglEの4つのフリーズモデルにおいて,学習可能なトークンを通信媒体として用いることを提案する。
  論文  参考訳（メタデータ） (2024-05-11T16:22:00Z)
• A Recipe for Scaling up Text-to-Video Generation with Text-free Videos [72.59262815400928]
  拡散ベースのテキスト・ツー・ビデオ世代は、過去1年で目覚ましい進歩をみせたが、それでもテキスト・ツー・画像世代には及ばない。 我々はTF-T2Vと呼ばれる新しいテキスト・ビデオ生成フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-12-25T16:37:39Z)
• Vista-LLaMA: Reducing Hallucination in Video Language Models via Equal Distance to Visual Tokens [66.81787301096415]
  Vista-LLaMAは、すべての視覚トークンと任意の言語トークンとの一貫性のある距離を維持する新しいフレームワークである。 本稿では,現在の映像フレームを前フレームの助けを借りて,言語空間のトークンに投影する逐次視覚プロジェクタを提案する。
  論文  参考訳（メタデータ） (2023-12-12T09:47:59Z)
• RaP: Redundancy-aware Video-language Pre-training for Text-Video Retrieval [61.77760317554826]
  冗長性を考慮したビデオ言語事前学習を提案する。 我々は,ビデオパッチとテキストトークンの冗長性の測定を,クロスモーダルな最小相似性を計算することによって設計する。 提案手法はMSRVTT, MSVD, DiDeMo, LSMDCの4つのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2022-10-13T10:11:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。