論文の概要: Toward Real-Time Sentence-Level Sign Language Translation

• arxiv url: http://arxiv.org/abs/2607.09611v1
• Date: Fri, 10 Jul 2026 17:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.910034
• Title: Toward Real-Time Sentence-Level Sign Language Translation
• Title（参考訳）: 実時間文レベル手話翻訳に向けて
• Abstract要約: 実時間展開を主目的とした文レベル手話翻訳(SLT)について検討する。 SHuBERT-ByT5翻訳スタックをハウ2Signの9,872サンプルの均一なサブセットに微調整する。 主な貢献は、ハードウェア対応のストリーミングシステムである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most sign language understanding systems operate at the level of isolated signs, limiting their usefulness in natural communication. We study sentence-level sign language translation (SLT) with the primary goal of real-time deployment rather than proposing a new translation architecture. We fine-tune a SHuBERT-ByT5 translation stack on a uniformly sampled 9,872-example subset of How2Sign, selected because of compute and storage constraints, using QLoRA while keeping SHuBERT frozen. The model obtains a validation BLEU of 16.7 and, on the test split, BLEU 15.9 and BLEURT 44.7. The main contribution is a hardware-aware streaming system: a Raspberry Pi 4B reference client provides camera capture, local text display, and speech output, while compute-intensive perception and translation run on a CPU/GPU backend. The capture protocol remains client-agnostic, so the same backend can serve a browser, phone, or laptop. Chunked ingestion, bounded queues, parallelized perception, temporal reordering, and a sentence-boundary state machine reduce mean post-finalization response latency from 1.873 to 1.354 seconds (27.71%) and P95 latency from 2.919 to 2.130 seconds (27.03%) over the complete 9,872-example working subset.
• Abstract（参考訳）: ほとんどの手話理解システムは孤立した記号のレベルで動作し、自然コミュニケーションにおける有用性を制限している。 文レベル手話翻訳(SLT)を,新しい翻訳アーキテクチャを提案するのではなく,リアルタイム展開の第一目標として研究する。 SHuBERT を凍結したまま QLoRA を用いて,計算と記憶の制約により選択された How2Sign の 9,872 サンプル部分集合上に SHuBERT-ByT5 翻訳スタックを微調整する。 このモデルは16.7の検証BLEUを取得し、テストスプリットではBLEU15.9とBLEURT44.7を得る。 Raspberry Pi 4Bリファレンスクライアントはカメラキャプチャ、ローカルテキストディスプレイ、音声出力を提供し、CPU/GPUバックエンド上で計算集約的な認識と変換が実行される。 キャプチャプロトコルはクライアントに依存しないため、同じバックエンドがブラウザ、電話、ラップトップを提供することができる。 チャンクされた取り込み、境界待ち行列、並列認識、時間的順序付け、および文境界状態マシンは、完了後の平均応答遅延を1.873から1.354秒 (27.71%) 、P95レイテンシを2.919から2.130秒 (27.03%) に短縮する。

関連論文リスト

• Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation [0.0]
  手話は、何百万人もの聴覚障害者にとって主要なコミュニケーションチャネルである。 本稿では,短い手話クリップのためのテキスト条件付きビデオ拡散モデルであるText2Signについて述べる。 32フレームと64$のクリップを12.60秒で生成し、毎秒2.54フレーム、ピーク推論メモリは3.12GBである。
  論文  参考訳（メタデータ） (2026-07-14T18:15:32Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• Streaming Speech-to-Text Translation with a SpeechLLM [21.176799517305096]
  SpeechLLMは、音声におけるパラ言語情報を利用して、カスケードエラーを減らすことを約束する。 既存のSpeechLLMシステムは、翻訳を出力する前に音声の完全な発声を待つため、遅い。 本研究は,リアルタイム音声テキスト翻訳のためのLLMアーキテクチャを提案する。 異なる言語対の実験において、システムは非ストリーミングベースラインに近い翻訳品質を達成するが、レイテンシはわずか1-2秒である。
  論文  参考訳（メタデータ） (2026-05-14T12:32:57Z)
• Towards Compact Sign Language Translation: Frame Rate and Model Size Trade-offs [0.5371337604556311]
  手話翻訳(SLT)は、手話動画を音声テキストに変換し、聴覚と聴覚のコミュニティ間のコミュニケーションをブリッジする。 現在の光沢のないアプローチは、大規模なエンコーダデコーダモデルに依存し、デプロイメントを制限している。 本稿では,MMPose skeletal pose extract と1つの線形射影をT5小形に結合したコンパクトな77Mパラメータパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-10T14:15:38Z)
• Spatio-temporal Sign Language Representation and Translation [15.279905143200994]
  SLTの最先端技術は、カスタマイズされた入力埋め込みを備えた汎用のseq2seqアーキテクチャを使用する。 本稿では,時間的特徴表現と翻訳を1つのモデルで学習するシステムを提案する。
  論文  参考訳（メタデータ） (2025-10-22T09:34:01Z)
• CMU's IWSLT 2025 Simultaneous Speech Translation System [10.40867923457809]
  本稿では,CMU による IWSLT 2025 同時音声翻訳タスクの提出について述べる。 我々のエンドツーエンドの音声テキストシステムは、大まかに因果関係のWav2Vec 2.0音声エンコーダ、アダプタ、およびQwen2.5-7B-Instructをデコーダとして統合する。 実験の結果,英語-中国語で44.3BLEU,英語-ドイツ語で25.1BLEUを達成した。
  論文  参考訳（メタデータ） (2025-06-16T06:56:21Z)
• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。 SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。 SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• CMU's IWSLT 2024 Simultaneous Speech Translation System [80.15755988907506]
  本稿では,CMU による IWSLT 2024 Simultaneous Speech Translation (SST) タスクへの提案について述べる。 本システムでは,WavLM音声エンコーダ,モダリティアダプタ,Llama2-7B-Baseモデルをデコーダとして統合する。
  論文  参考訳（メタデータ） (2024-08-14T10:44:51Z)
• EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
  イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。 イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。 計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-07-17T14:16:35Z)
• RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise [66.92823764664206]
  我々は,任意のトランスフォーマーベース音声符号化アーキテクチャにシームレスに統合可能な,新しいReduceer AdaptorブロックRedAptを提案する。 事前訓練されたwav2vec 2音声エンコーダをRedAptbrings 41%の高速化、33%のメモリ削減、24%のFLOPを推論で削減した。
  論文  参考訳（メタデータ） (2022-10-16T07:58:25Z)
• SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
  既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。 我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
  論文  参考訳（メタデータ） (2021-12-08T11:04:52Z)
• Unsupervised Speech Recognition [55.864459085947345]
  wav2vec-Uは、ラベル付きデータなしで音声認識モデルを訓練する方法である。 我々は、自己教師付き音声表現を活用して、ラベルなし音声をセグメント化し、これらの表現から相手の訓練を通して音素へのマッピングを学習する。 より大きな英語のLibrispeechベンチマークでは、wav2vec-Uは、わずか2年前の960時間のラベル付きデータに基づいてトレーニングされた最も優れたシステムに匹敵する、他のテストで5.9の単語エラー率を達成した。
  論文  参考訳（メタデータ） (2021-05-24T04:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。