論文の概要: DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
- arxiv url: http://arxiv.org/abs/2605.31432v1
- Date: Fri, 29 May 2026 15:27:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.699196
- Title: DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
- Title（参考訳）: DOA:音声LLMを用いた長期同時翻訳のための訓練不要デコーダオンリーアテンションポリシー
- Abstract要約: 音声からテキストへの同時翻訳(SimulST)は、音声がまだ展開されている間に翻訳を生成する。
本稿では,セルフアテンションからプロキシアライメントを導出することにより,オフザシェルフ音声LLMと長文同時翻訳が可能な学習自由ポリシーを提案する。
- 参考スコア（独自算出の注目度）: 16.180515088772957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simultaneous speech-to-text translation (SimulST) generates translations while speech is still unfolding, requiring a streaming policy that decides when to read and when to write. State-of-the-art approaches rely on attention-based encoder-decoder models where cross-attention provides explicit alignment signals. In contrast, Speech Large Language Models (SpeechLLMs) are decoder-only architectures relying solely on self-attention. This raises a central question: whether decoder self-attention contains sufficiently stable alignment signals to guide the streaming policy. Moreover, existing approaches typically rely on training-based adaptations or heuristic wait-$k$ policies and have not been validated in long-form settings. To fill these gaps, we propose Decoder-Only Attention (DOA), a training-free policy that enables long-form simultaneous translation with off-the-shelf SpeechLLMs by deriving a proxy alignment from self-attention. Experiments on Phi4-Multimodal and Qwen3-Omni show that DOA provides an effective alignment signal for supporting streaming decisions, enabling low-latency long-form SimulST with quality close to offline decoding without retraining.
- Abstract（参考訳）: 音声からテキストへの同時翻訳(SimulST)は、音声がまだ展開されている間に翻訳を生成し、いつ読むか、いつ書くかを決定するストリーミングポリシーを必要とする。
最先端のアプローチは注意に基づくエンコーダ・デコーダモデルに依存しており、クロスアテンションは明確なアライメント信号を提供する。
対照的に、音声大言語モデル(SpeechLLMs)は自己注意のみに依存するデコーダのみのアーキテクチャである。
これは、デコーダの自己アテンションがストリーミングポリシーを導くのに十分な安定したアライメント信号を含むかどうかという、中心的な疑問を提起する。
さらに、既存のアプローチはトレーニングベースの適応やヒューリスティックなwait-k$ポリシーに依存しており、長い形式の設定では検証されていない。
これらのギャップを埋めるため,本論文では,セルフアテンションからプロキシアライメントを導出することにより,オフザシェルフ音声LLMと長文同時翻訳が可能なトレーニングフリーポリシーであるDecoder-Only Attention (DOA)を提案する。
Phi4-MultimodalとQwen3-Omniの実験では、DOAはストリーミング決定をサポートする効果的なアライメント信号を提供し、オフラインデコーディングに近い品質の低レイテンシのロングフォームSimulSTを可能にする。
関連論文リスト
- Diffusion Large Language Models for Visual Speech Recognition [56.81307584718608]
本稿では,最初の拡散大言語モデル(DLLM)に基づく視覚音声認識(VSR)フレームワークを提案する。
DLLM-VSRは早期に高信頼位置をコミットし、コミットトークンを双方向コンテキストとして、曖昧なトークンを洗練させる。
我々は、ビデオ長を用いて、可塑性転写長仮説を構築する長さ誘導型候補復号法を開発した。
提案手法はラベル付きトレーニングデータのみを用いて, LRS3 上で19.5%の最先端 WER を実現する。
論文 参考訳（メタデータ） (2026-05-27T13:22:08Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [52.519745466772825]
テキスト音声による音声合成は、自然とインテリジェントな音声に基づく対話を指向する。
TASTEは音声トークンを生成し、テキストのトークンと長さを一致させる。
本稿ではリアルタイム利用に適したTASTEの拡張であるTASTE-Sを提案する。
論文 参考訳（メタデータ） (2026-03-12T18:13:48Z) - Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。
ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。
Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
論文 参考訳（メタデータ） (2025-09-18T17:48:21Z) - SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。
既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。
本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
論文 参考訳（メタデータ） (2025-08-04T19:22:14Z) - StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model [20.978001644716063]
ストリーム音声翻訳(StreamST)は、ポリシーとして知られる適切なタイミングで翻訳を生成する必要がある。
既存のStreamSTメソッドは通常、同時音声翻訳(SimulST)と呼ばれる文レベルの音声セグメントで動作する。
本稿では,Large Speech-Language Model (LSLM) を用いてStreamSTを実現するStreamUniを提案する。
論文 参考訳（メタデータ） (2025-07-10T14:28:39Z) - LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。
新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。
LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
論文 参考訳（メタデータ） (2025-06-20T04:15:14Z) - M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation [66.92823764664206]
テキストに音声表現を適応させる新しいトランスフォーマーベースのモジュールであるM-Adapterを提案する。
音声シーケンスを縮小しながら、M-Adapterは音声からテキストへの翻訳に必要な機能を生成する。
実験の結果,我々のモデルは最大1BLEUで強いベースラインを達成できた。
論文 参考訳（メタデータ） (2022-07-03T04:26:53Z) - Fast End-to-End Speech Recognition via a Non-Autoregressive Model and
Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。
モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文 参考訳（メタデータ） (2021-02-15T15:18:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。