論文の概要: Simultaneous Translation between Sign Languages
- arxiv url: http://arxiv.org/abs/2609.35608v1
- Date: Mon, 28 Sep 2026 16:54:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 20:23:53.233544
- Title: Simultaneous Translation between Sign Languages
- Title（参考訳）: 手話間の同時翻訳
- Abstract要約: 既存のサイン・ツー・サインの翻訳システムはオフラインで実行され、ターゲットのサインが出力される前に全ソースのクリップが必要になる。
本稿では,2つのwait-k計算方式と,マルチパス監視によるトレーニングされたwait-kモデルを備えた,S2S翻訳システムを提案する。
小型の人間検証テストセットと大型の合成S2Sコーパスで6つのS2S方向を平均して,9%のDTW-PA-MPJPE増加と2.1のBLEU-4低下を保ちながら38%のca-Stream-AL低減を実現した。
- 参考スコア（独自算出の注目度）: 14.843373295790494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deaf and hard-of-hearing (DHH) signers cannot converse in real time across different sign languages today: existing sign-to-sign translation systems run offline, requiring the full source clip before any target sign is emitted. Live use cases - e.g. broadcast interpretation and two-way video calls - instead demand simultaneous output, while the source signer is still signing. We present, to our knowledge, the first simultaneous sign-to-sign (S2S) translation system, with two wait-k regimes: test-time wait-k inference applied directly to a full-sentence model, and a trained wait-k model via stochastic multi-path supervision. We further introduce ca-Stream-AL, a computation-aware latency metric for streaming output. Averaged across six S2S directions on both a smaller human-verified test set and a larger synthetic S2S corpus, our streaming system achieves a 38% ca-Stream-AL reduction while staying within a 9% DTW-PA-MPJPE increase and a 2.1 BLEU-4 drop compared to the full-sentence baseline. A word-order case study probes how the streaming model handles word order mismatch between different sign languages - a consequence of simultaneous translation.
- Abstract（参考訳）: 難聴と難聴(DHH)シグナーは、現在、さまざまな手話言語でリアルタイムに会話することはできない。
ライブのユースケース - gブロードキャストの解釈と双方向のビデオ通話 - は、ソースシグナーが署名している間に、同時に出力を要求する。
本稿では,S2S (S2S) 翻訳システムについて述べる。テスト時間待ちk推論を全文モデルに直接適用することと,確率的マルチパス監視によるトレーニング待ちkモデルである。
さらに,ストリーミング出力のための計算対応レイテンシメトリックであるca-Stream-ALを導入する。
より小型の人間検証テストセットとより大型の合成S2Sコーパスの6つのS2S方向を平均して、本ストリーミングサービスは、9%のDTW-PA-MPJPE増加率と2.1BLEU-4低下率に留まり、38%のca-Stream-AL低減を実現している。
単語順ケーススタディは、ストリーミングモデルが異なる手話間の単語順ミスマッチ(同時翻訳の結果)をどのように処理するかを調査する。
関連論文リスト
- Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation [48.98480497536377]
ELF-S2Tは,音声からテキストへの連続ターゲット生成モデルである。
ELF-S2Tは凍結したウィスパーエンコーダと1つの線形プロジェクタを介して音声を処理する。
LibriSpeechとCoVoST2の実験により、ELF-S2Tは競争力のあるASRとS2TTの性能を達成することが示された。
論文 参考訳（メタデータ） (2026-06-09T03:27:30Z) - Direct Translation between Sign Languages [13.057102328925177]
サイン・ツー・サインの翻訳は、世界の15億人の聴覚障害者が言語障壁を越えてコミュニケーションするのに役立つ。
逆変換を用いて、不整合個別言語音声信号コーパスから合成符号対を生成する。
アメリカ手話(ASL)、中国手話(CSL)、ドイツ手話(DGS)の合成合成されたペアセットにおいて、我々の直接S2S法は幾何学的手話誤り量に基づくカスケードベースラインよりも優れている。
論文 参考訳（メタデータ） (2026-05-20T00:54:11Z) - MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。
また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。
MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
論文 参考訳（メタデータ） (2026-01-27T13:06:47Z) - IsoSignVid2Aud: Sign Language Video to Audio Conversion without Text Intermediaries [0.0]
音声言語への手話翻訳は、聴覚障害者と音声障害者を繋ぐ上で重要である。
我々は連続的な文法的な署名よりも、孤立した手話列を持つ手話ビデオを考える。
IsoSignVid2Audは手話ビデオの非文法的連続符号列を音声に変換する新しいエンドツーエンドフレームワークである。
論文 参考訳（メタデータ） (2025-10-09T06:29:59Z) - MultiStream-LLM: Bridging Modalities for Robust Sign Language Translation [19.197388907510746]
自動手話翻訳の限界を克服するモジュール型フレームワークであるMultiStream-LLMを紹介する。
本手法は, BLEU-4 スコア 23.5 と 73.2% の精度を持つ How2Sign ベンチマークで, ChicagoFSWildPlus のフィンガースペルスデータセット上で, 新たな最先端性を確立した。
論文 参考訳（メタデータ） (2025-08-20T17:44:47Z) - SignBLEU: Automatic Evaluation of Multi-channel Sign Language Translation [3.9711029428461653]
マルチチャネル手話翻訳(MCSLT)という新しいタスクを導入する。
本稿では,複数の信号チャネルを捕捉する新しい測度であるSignBLEUを提案する。
SignBLEUは、競合する指標よりも、人間の判断と常に相関していることがわかった。
論文 参考訳（メタデータ） (2024-06-10T05:01:26Z) - Prosody in Cascade and Direct Speech-to-Text Translation: a case study
on Korean Wh-Phrases [79.07111754406841]
本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。
本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
論文 参考訳（メタデータ） (2024-02-01T14:46:35Z) - TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。
我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。
TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2022-05-25T06:34:14Z) - SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。
我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。
SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
論文 参考訳（メタデータ） (2021-12-08T11:04:52Z) - Video-based Sign Language Recognition without Temporal Segmentation [88.03159640595187]
本稿では,時間分割の事前処理を不要とする新しい連続符号認識フレームワークを提案する。
提案するLS-HANは,映像特徴表現生成のための2ストリーム畳み込みニューラルネットワーク(CNN),意味ギャップブリッジのための潜時空間,潜在空間に基づく認識のための階層的注意ネットワーク(HAN)の3つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2018-01-30T17:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。