論文の概要: PACT: A Pragmatic Prompting Framework for Expressive and Voice-Preserving Speech-to-Speech Translation
- arxiv url: http://arxiv.org/abs/2610.18247v1
- Date: Tue, 13 Oct 2026 12:14:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:44:54.803641
- Title: PACT: A Pragmatic Prompting Framework for Expressive and Voice-Preserving Speech-to-Speech Translation
- Title（参考訳）: PACT: 表現的・音声保存型音声音声音声翻訳のための実用的プロンプトフレームワーク
- Abstract要約: 音声から音声への翻訳は、何を言ったかだけでなく、誰がそれを言ったか、どのように言ったかも保存すべきである。
既存のエンドツーエンドのS2ST、音声MLLM、カスケードシステムは、内容や音色を保存できるが、感情、トーン、リズム、一時停止、実用的態度を目標言語で実現するのに苦労することが多い。
本稿では,表現的・音声保存型S2STのためのターゲット空間の実用的なプロンプトフレームワークであるPACTを提案する。
- 参考スコア（独自算出の注目度）: 7.671013147259789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech-to-speech translation should preserve not only what is said, but also who says it and how it is said. Existing end-to-end S2ST, speech MLLM, and cascade systems can preserve content or timbre, but often struggle to realize emotion, tone, rhythm, pauses, and pragmatic attitude in the target language. We propose PACT, a target-space pragmatic prompting framework for expressive and voice-preserving S2ST. PACT extracts source pragmatic cues, projects them into the target-language expression space, calibrates the projected representation to a realizable target subspace, and converts it into continuous prompts for a frozen speech generator. On bidirectional Spanish-English TOPI evaluation, PACT achieves the best overall performance among evaluated systems across content fidelity, voice preservation, and expression preservation metrics.
- Abstract（参考訳）: 音声から音声への翻訳は、何を言ったかだけでなく、誰がそれを言ったか、どのように言ったかも保存すべきである。
既存のエンドツーエンドのS2ST、音声MLLM、カスケードシステムは、内容や音色を保存できるが、感情、トーン、リズム、一時停止、実用的態度を目標言語で実現するのに苦労することが多い。
本稿では,表現的・音声保存型S2STのためのターゲット空間の実用的なプロンプトフレームワークであるPACTを提案する。
PACTは、ソースプラグマティックなキューを抽出し、ターゲット言語表現空間に投影し、投影された表現を実現可能なターゲット部分空間に校正し、凍結した音声生成のための連続的なプロンプトに変換する。
双方向のスペイン語と英語のTOPI評価において、PACTは、コンテンツ忠実度、音声保存、表現保存の指標を含む評価システムの中で、最高の総合的な性能を達成する。
関連論文リスト
- Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech [13.90951969577916]
自然言語スタイルの記述は、大きな言語モデルと制御可能なテキスト音声(TTS)の間の解釈可能なインターフェースを提供する
本稿では,テキストベースのスタイルプランナを,凍った下流TSモデルを用いて訓練する音声回帰型スタイルプランニング(SRSP)を提案する。
ISCSLP 2026 CoT-TTSコーパスの英語サブセットでは、SRSPはターゲット音声と低いメル-ケプストラム歪みとのより高い音声スタイルと感情類似性を達成している。
論文 参考訳（メタデータ） (2026-10-08T08:12:28Z) - ES4R: Speech Encoding Based on Prepositive Affective Modeling for Empathetic Response Generation [30.006550552714938]
共感的音声対話は、言語内容だけでなく、豊富なパラ言語情報も理解する必要がある。
既存の音声から音声への大きな言語モデルは、ASRの転写に依存するか、エンコーダを使用して潜在表現を抽出する。
音声に基づく共感応答生成のためのフレームワークである textbfES4R を提案する。
論文 参考訳（メタデータ） (2026-01-16T10:26:50Z) - MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。
我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2025-10-01T04:32:37Z) - SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought [12.54786997634534]
本研究は,S2STのための単一言語モデルであるSeamlessExpressiveLMを提案する。
我々は、複雑なソースからターゲットへの音声マッピングを、チェーン・オブ・シークレット・プロンプトで中間生成ステップに分解する。
モデルはまずターゲットのセマンティックコンテンツを翻訳し、次に話者スタイルをマルチストリーム音響ユニットに転送する。
論文 参考訳（メタデータ） (2024-05-30T18:28:31Z) - SpeechGen: Unlocking the Generative Power of Speech Language Models with
Prompts [108.04306136086807]
本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。
提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
論文 参考訳（メタデータ） (2023-06-03T22:35:27Z) - Joint Pre-Training with Speech and Bilingual Text for Direct Speech to
Speech Translation [94.80029087828888]
直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。
直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。
本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
論文 参考訳（メタデータ） (2022-10-31T02:55:51Z) - Limited Data Emotional Voice Conversion Leveraging Text-to-Speech:
Two-stage Sequence-to-Sequence Training [91.95855310211176]
感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。
本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。
提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2021-03-31T04:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。