論文の概要: CRESiST: Self-Enhancing Explorative Policy Learning for Simultaneous Speech Translation

• arxiv url: http://arxiv.org/abs/2611.06501v1
• Date: Wed, 04 Nov 2026 13:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.121669
• Title: CRESiST: Self-Enhancing Explorative Policy Learning for Simultaneous Speech Translation
• Title（参考訳）: CRESiST:同時音声翻訳のためのセルフエンハンスな探索的ポリシー学習
• Abstract要約: 同時音声翻訳(SimulST)では、翻訳品質とレイテンシのバランスをとる必要がある。 そこで本研究では,SimulSTのためのエンドツーエンドの読み書きフレームワークを提案する。 我々のアーキテクチャは完全なKVキャッシュの再利用を実現し、セグメンテーションフリーで無限長の推論をサポートする。
• 参考スコア（独自算出の注目度）: 71.48875861489506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simultaneous Speech Translation (SimulST) requires balancing translation quality and latency. While Large Language Models (LLMs) excel in offline translation, current LLM-based SimulST systems predominantly rely on prefix-incremental generation. This paradigm suffers from redundant Key-Value cache recomputation and necessitates external Voice Activity Detection to process unbounded streams. To overcome these bottlenecks, we propose an end-to-end interleaved read-write framework built upon an omni-modal LLM. By interleaving speech chunks and text tokens, our architecture achieves full KV cache reuse, natively supporting segmentation-free, infinite-length inference. Furthermore, to learn optimal streaming policies without rigid offline alignments, we introduce a novel Actor-Critic self-enhancement pipeline. An RNN-T Actor dynamically samples read-write trajectories, while an LLM-based Critic evaluates these paths via intrinsic semantic and latency rewards, distilling the optimal policy back to the Actor. Extensive experiments on sentence-level (FLEURS, CoVoST2) and document-level (MuST-C, ACL 60/60) benchmarks demonstrate that our model establishes new state-of-the-art quality-latency Pareto frontiers, substantially outperforming existing cascaded and static-alignment baselines.
• Abstract（参考訳）: 同時音声翻訳(SimulST)では、翻訳品質とレイテンシのバランスをとる必要がある。 Large Language Models (LLMs) はオフライン翻訳に優れているが、現在の LLM ベースの SimulST システムはプレフィックス・インクリメンタル・ジェネレーションに大きく依存している。 このパラダイムはキーバリューキャッシュの冗長な再計算に悩まされ、非有界ストリームを処理するために外部のVoice Activity Detectionを必要とする。 これらのボトルネックを克服するために、Omni-modal LLM上に構築されたエンドツーエンドの読み取り-書き込みフレームワークを提案する。 音声チャンクとテキストトークンをインターリーブすることで、我々のアーキテクチャは完全なKVキャッシュの再利用を実現し、セグメンテーションのない無限長推論をネイティブにサポートする。 さらに,厳密なオフラインアライメントを伴わずに最適なストリーミングポリシを学習するために,アクタ・クリティカル・セルフエンハンスメント・パイプラインを導入する。 RNN-Tアクターは読み書き軌跡を動的にサンプリングし、LCMベースのCryticは本質的な意味論と遅延報酬を通じてこれらのパスを評価し、最適なポリシーをアクターに蒸留する。 文レベル (FLEURS, CoVoST2) と文書レベル (MuST-C, ACL 60/60) のベンチマークによる大規模な実験により、我々のモデルが新しい最先端の高品質パレートフロンティアを確立し、既存のカスケードおよび静的アライメントベースラインを大幅に上回ることを示した。

関連論文リスト

• Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders [50.57199085611665]
  次トーケン予測は、高度に流動的な自己回帰言語モデルを実現するが、逐次分解によるグローバル構造のみを間接的に表現する。 対照的に、高忠実度オートエンコーダは画像生成において標準的なプリミティブとなり、生成モデルが連続的な潜在空間上で動作できるようにする。 LLMAEは,事前訓練されたデコーダのみの言語モデルを,連続的なテキストオートエンコーダとして再利用する手法である。
  論文  参考訳（メタデータ） (2026-09-23T02:32:12Z)
• Job Skill Extraction via LLM-Centric Multi-Module Framework [51.37063712967151]
  本稿では,意味検索,文脈内学習,教師付き微調整を組み合わせたLLM中心のフレームワークであるSRICLを提案する。 SRICLは、6つの公的なスパンラベル付きジョブアド文のコーパスにおいて、GPT-3.5よりも相当なSTRICT-F1の改善を達成し、ベースラインを加速し、無効なタグと幻覚したスパンを激減する。
  論文  参考訳（メタデータ） (2026-04-23T10:46:07Z)
• StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model [20.978001644716063]
  ストリーム音声翻訳(StreamST)は、ポリシーとして知られる適切なタイミングで翻訳を生成する必要がある。 既存のStreamSTメソッドは通常、同時音声翻訳(SimulST)と呼ばれる文レベルの音声セグメントで動作する。 本稿では,Large Speech-Language Model (LSLM) を用いてStreamSTを実現するStreamUniを提案する。
  論文  参考訳（メタデータ） (2025-07-10T14:28:39Z)
• LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
  近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。 新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。 LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-20T04:15:14Z)
• Efficient and Adaptive Simultaneous Speech Translation with Fully Unidirectional Architecture [14.056534007451763]
  同時音声翻訳(SimulST)は、部分的な音声入力を処理しながら段階的に翻訳を生成する。 既存のLLMベースのSimulSTアプローチは、双方向音声エンコーダの繰り返し符号化による計算オーバーヘッドが大きい。 完全一方向アーキテクチャを用いた効率・適応同時音声翻訳(EASiST)を提案する。
  論文  参考訳（メタデータ） (2025-04-16T06:46:15Z)
• LLMs Can Achieve High-quality Simultaneous Machine Translation as Efficiently as Offline [16.124385656402744]
  大言語モデル(LLM)は、単純なプロンプトで「[src lang]から[tgt lang]に次の文を変換する」という単純なプロンプトでも、オフライン機械翻訳において優れた性能を発揮する。 我々は、同時機械翻訳(SiMT)のための教師付き微調整データの構築を含む新しいパラダイムを提案する。 提案手法は,様々なSiMTベンチマークにおける最先端性能を実現し,オフライン翻訳の本来の能力を維持する。
  論文  参考訳（メタデータ） (2025-04-13T13:45:53Z)
• StreamBench: Towards Benchmarking Continuous Improvement of Language Agents [63.54557575233165]
  大規模言語モデル(LLM)エージェントは、経験から自分自身を改善することができる。 本稿では,LLMエージェントの入力フィードバックシーケンスに対する継続的な改善を評価するためのベンチマークであるStreamBenchを紹介する。 我々の研究は、LLMの効果的なオンライン学習戦略開発への一歩として役立ち、ストリーミングシナリオにおけるより適応的なAIシステムへの道を開いた。
  論文  参考訳（メタデータ） (2024-06-13T02:08:28Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments [49.38965743465124]
  本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。 単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
  論文  参考訳（メタデータ） (2023-07-07T02:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。