論文の概要: ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
- arxiv url: http://arxiv.org/abs/2610.03022v1
- Date: Fri, 02 Oct 2026 08:58:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.291598
- Title: ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
- Title(参考訳): ReSCUE: 不可解な長期手話翻訳のための文変換による再翻訳
- Abstract要約: リアルタイム通信には同時手話翻訳が不可欠である。
本稿では,非セグメント長手話ビデオ上での同時SLTのための統合フレームワークであるReSCUEを提案する。
実験により、ReSCUEは低レイテンシで最高の翻訳品質を実現することが示された。
- 参考スコア(独自算出の注目度): 34.25021220662353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simultaneous Sign Language Translation (SLT) is critical for real-time communication, yet existing methods remain largely confined to sentence-level, offline settings that assume pre-segmented inputs. These assumptions hinder deployment in realistic scenarios involving continuous, unsegmented video streams. We present ReSCUE, a unified framework for simultaneous SLT on unsegmented long-form sign language videos that aligns training and inference with realistic streaming conditions. ReSCUE combines inference-aware training to handle partial inputs, non-signing pauses, and multi-sentence contexts, stabilized re-translation to enable low-latency yet revisable predictions with reduced output flicker, and a sentence commitment mechanism for online segmentation and memory management. Experiments on standard sentence-level benchmarks show that ReSCUE achieves lower latency and the best translation quality under low-latency settings. On long-form unsegmented datasets, ReSCUE approaches the translation quality of oracle offline systems that use ground-truth sentence boundaries, while operating at substantially lower latency, demonstrating its practicality for real-world streaming scenarios.
- Abstract(参考訳): 同時手話翻訳(SLT)はリアルタイム通信において重要であるが、既存の手法は文レベルのオフライン設定に限られており、プリセグメンテッド入力を前提としている。
これらの仮定は、連続的かつ不可分なビデオストリームを含む現実的なシナリオにおけるデプロイメントを妨げる。
トレーニングと推論をリアルなストリーミング条件と整合させる,非セグメント長手手話ビデオ上での同時SLTのための統合フレームワークであるReSCUEを提案する。
ReSCUEは推論学習を組み合わせ、部分入力、非署名停止、多文コンテキストの処理、安定化された再翻訳、低レイテンシで修正可能な予測、出力フリックの削減、オンラインセグメンテーションとメモリ管理のための文コミットメント機構を組み合わせた。
標準文レベルのベンチマーク実験により、ReSCUEは低レイテンシと低レイテンシ設定で最高の翻訳品質を実現することが示された。
ロングフォームなアンセグメンテッドデータセットでは、ReSCUEは、地上のストルース文境界を使用するオラクルオフラインシステムの翻訳品質にアプローチすると同時に、かなり低いレイテンシで動作し、現実世界のストリーミングシナリオの実用性を実証する。
関連論文リスト
- Seeing Semantic Shift: Difference-Aware Sentence-Level Temporal Segmentation of Sign Language Videos [16.01402212564324]
私たちは挑戦的で現実的な設定にフォーカスする:ビジュアルのみの文レベル手話(Vis-SSLS)
Vis-SSLSは、連続手話動画をキャプションの助けなしに、重複しない文レベルセグメントに分割する。
フレーム間特徴変動を明示的にモデル化する差分認識セグメンテーションフレームワークである textbfSignShift を提案する。
論文 参考訳(メタデータ) (2026-09-25T11:40:43Z) - Attention-Based Adaptive Policies for Simultaneous Speech-to-Text Translation [27.9093775816186]
同時音声テキスト変換(Simul-S2TT)は、受信した音声フレームがシステムによって処理される間に部分翻訳を生成する。
我々は、最近のフレームアテンションポリシー(RFAP)とデュアルコンディションアテンションポリシー(DCAP)を提案する。
CVSS-Cコーパス上の3つの異なる言語翻訳ペアの結果、RFAPは最大4.0BLEUで他のポリシーを上回り、翻訳遅延を約1秒短縮できることを示した。
論文 参考訳(メタデータ) (2026-09-25T05:34:46Z) - Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation [49.82863380286994]
In-context Learningは、低リソース機械翻訳にLarge Language Modelsを適用する新しい方法を提供するかもしれない。
本研究では,Long-context モデルを用いた数千例のサンプルに対して,数ショット設定以上の低リソース機械翻訳ICLのスケーリングについて検討する。
JavaneseとSundaneseに関する我々の実験は、追加のコンテキストからのゲインがすばやく飽和し、最大コンテキストウィンドウの近くで分解可能であることを示している。
論文 参考訳(メタデータ) (2026-02-04T17:02:22Z) - Redefining Machine Simultaneous Interpretation: From Incremental Translation to Human-Like Strategies [6.010207559477024]
同時機械翻訳(SiMT)は、厳密なリアルタイム制約の下で高品質な翻訳を必要とする。
我々は,SiMTのアクション空間を,Sentence_Cut,Drop,Partial_Summarization,Pronominalizationの4つの適応アクションで拡張する。
我々は、これらのアクションを大規模言語モデル(LLM)フレームワークに適応させ、アクション認識プロンプトを通じてトレーニング参照を構築する。
論文 参考訳(メタデータ) (2026-01-16T05:26:16Z) - Redefining Machine Simultaneous Interpretation: From Incremental Translation to Human-Like Strategies [4.487634497356904]
同時機械翻訳(SiMT)は、厳密なリアルタイム制約の下で高品質な翻訳を必要とする。
我々は,Sentence_CUT,DROP,Partial_MARIZATION,PronoMINALZATIONの4つの適応アクションでSiMTのアクション空間を拡張した。
我々は、これらのアクションをデコーダのみの大規模言語モデル(LLM)フレームワークで実装し、アクション認識プロンプトを通じてトレーニング参照を構築する。
論文 参考訳(メタデータ) (2025-09-26T02:57:36Z) - Overcoming Latency Bottlenecks in On-Device Speech Translation: A Cascaded Approach with Alignment-Based Streaming MT [19.133273093370896]
本稿では,ASR(Automatic Speech Recognition)とMT(Machine Translation)をリアルタイム・オンデバイス・ストリーミング音声翻訳に利用する際の課題について述べる。
本稿では,翻訳品質とレイテンシを効果的にバランスさせる同時翻訳手法を提案する。
我々は,デバイス上でのバイリンガル音声翻訳にアプローチを適用し,レイテンシと品質の点で,我々の技術がベースラインより優れていることを示す。
論文 参考訳(メタデータ) (2025-08-18T21:00:11Z) - Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization [60.73623588349311]
本研究では,時間的フォージェリーローカライゼーションのための共通文脈対応コントラスト学習フレームワーク (UniCaCLF) を提案する。
提案手法は教師付きコントラスト学習を利用して,異常検出による偽造瞬間の検出と同定を行う。
実物と偽物との間における特徴の識別可能性の限界をさらに押し上げるために、効率的な文脈対応コントラスト符号化を導入する。
論文 参考訳(メタデータ) (2025-06-10T06:40:43Z) - Token-Level Serialized Output Training for Joint Streaming ASR and ST
Leveraging Textual Alignments [49.38965743465124]
本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。
単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
論文 参考訳(メタデータ) (2023-07-07T02:26:18Z) - VoLTA: Vision-Language Transformer with Weakly-Supervised Local-Feature
Alignment [52.489874804051304]
VoLTAは、画像キャプチャデータのみを使用するが、きめ細かい領域レベルの画像理解を利用する新しい視覚言語事前学習パラダイムである。
VoLTAは、プレトレーニング中にマルチモーダル融合をユニモーダルバックボーンに深く押し込む。
広範囲の視覚および視覚の下流タスクの実験は、VoLTAの有効性を実証している。
論文 参考訳(メタデータ) (2022-10-09T01:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。