論文の概要: Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
- arxiv url: http://arxiv.org/abs/2606.15266v1
- Date: Sat, 13 Jun 2026 11:57:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.168459
- Title: Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
- Title（参考訳）: 英語と中国語の音声合成における語彙的ストレスの評価と保存
- Authors: Yuchen Song, Xi Chen, Mingze Li, Satoshi Nakamura,
- Abstract要約: 語彙的ストレスの言語間伝達は強調と話者意図にとって重要な手がかりである。
ストレスアノテートされた中国語データセットとXLS-Rをベースとしたマンダリン応力検出器を構築し,英語と中国語のS2ST応力伝達について検討した。
- 参考スコア（独自算出の注目度）: 12.104542664260139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech-to-speech translation (S2ST) systems have achieved impressive progress in semantic accuracy and speech naturalness. However, the cross-lingual transfer of lexical stress, a vital cue for emphasis and speaker intent, remains heavily underexplored, compounded by a lack of reliable automatic evaluation metrics for tonal languages like Chinese. We investigate English-to-Chinese S2ST stress transfer by constructing a stress-annotated Chinese dataset and an XLS-R-based Mandarin stress detector. Integrating this with the English EmphAssess system, we propose a novel objective metric for cross-lingual stress evaluation. Furthermore, we fine-tune CosyVoice3 to build a stress-aware S2ST system. Experiments demonstrate that our proposed S2ST architecture significantly outperforms existing systems in stress translation capability while maintaining competitive translation quality. Furthermore, our evaluation metric exhibits a strong correlation with human subjective judgments.
- Abstract（参考訳）: 音声から音声への翻訳システム(S2ST)は,意味的精度と音声の自然性において顕著な進歩を遂げている。
しかし、強調と話者意図のための重要な手がかりである語彙的ストレスの言語間移動は、中国語のような声調言語に対する信頼性の高い自動評価指標が欠如していることで、非常に過小評価されている。
ストレスアノテートされた中国語データセットとXLS-Rをベースとしたマンダリン応力検出器を構築し,英語と中国語のS2ST応力伝達について検討した。
本稿では,これを英語EmphAssessシステムと統合し,言語間ストレス評価のための新たな客観的指標を提案する。
さらに、ストレス対応S2STシステムを構築するためにCosyVoice3を微調整します。
提案したS2STアーキテクチャは,競争力のある翻訳品質を維持しつつ,既存のシステムのストレス翻訳能力を大幅に向上することを示した。
さらに,評価基準はヒトの主観的判断と強い相関を示す。
関連論文リスト
- Adapting Self-Supervised Speech Representations for Cross-lingual Dysarthria Detection in Parkinson's Disease [72.0406069194794]
音声表現は、しばしば言語に依存した構造を符号化する。
本稿では,ソース言語による自己教師型音声表現とターゲット言語分布とを一致させる表現レベル言語シフトを提案する。
チェコ語,ドイツ語,スペイン語におけるパーキンソン病音声データセットの経口DDK記録に対するアプローチについて検討した。
論文 参考訳（メタデータ） (2026-03-23T17:23:39Z) - Quantifying Cross-Lingual Transfer in Paralinguistic Speech Tasks [4.911970211082446]
言語間の言語間相互作用を定量化するための体系的手法であるCLTM(Cross-Lingual Transfer Matrix)を提案する。
我々は,多言語HuBERTエンコーダを用いて,ジェンダー識別と話者検証という2つのパラ言語課題にCLTMを適用した。
この結果から,タスクや言語間の異なる伝達パターンが明らかとなり,言語に依存した系統的な影響が反映された。
論文 参考訳（メタデータ） (2026-03-09T11:02:57Z) - StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation [10.037278049189073]
単語レベルの強調を保存したストレス対応音声音声合成システム(S2ST)を提案する。
制御可能なTSモデルを誘導するターゲット言語タグへのソース言語ストレスについて検討した。
論文 参考訳（メタデータ） (2025-10-15T06:32:24Z) - A Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning: Performance, Consistency, and Faithfulness Across Languages [48.68444770923683]
マルチリンガル・チェーン・オブ・ソート(CoT)推論の最初の包括的研究について述べる。
LRMがターゲット言語ですぐに考えることができる場合、言語コンプライアンス、解答精度、解答一貫性を計測する。
思考の痕跡の質と有効性は、素早い言語によって大きく異なることがわかった。
論文 参考訳（メタデータ） (2025-10-10T17:06:50Z) - Evaluating Text Style Transfer: A Nine-Language Benchmark for Text Detoxification [66.69370876902222]
本研究は,9言語にわたるテキストデトックス化システムの評価に関する総合的多言語研究である。
我々は,現代のニューラルベース評価モデルの有効性を,プロンプトベースLCM-as-a-judgeアプローチと併用して評価する。
本研究は,より信頼性の高い多言語TST評価パイプラインを設計するための実用的なレシピを提供する。
論文 参考訳（メタデータ） (2025-07-21T12:38:07Z) - An Initial Investigation of Language Adaptation for TTS Systems under Low-resource Scenarios [76.11409260727459]
本稿では,最近のSSLベースの多言語TSシステムであるZMM-TTSの言語適応性について検討する。
本研究では,事前学習言語と対象言語との音声学的な類似性が,対象言語の適応性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2024-06-13T08:16:52Z) - Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation [0.0]
インドの教育分野における言語多様性は、インクリシティを阻害する重要な課題となっている。
オンライン教育コンテンツによる知識の民主化にもかかわらず、英語の優位はアクセシビリティを制限している。
既存の音声音声機械翻訳(SSMT)技術にもかかわらず、これらのシステムにおけるイントネーションの欠如は単調な翻訳をもたらす。
本稿では、インド英語のストレスアノテーションを用いたデータセットと、合成音声にストレスを組み込むことのできるテクスチャ・トゥ・スペーチ(TTS)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-03-07T03:21:19Z) - Prosody in Cascade and Direct Speech-to-Text Translation: a case study
on Korean Wh-Phrases [79.07111754406841]
本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。
本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
論文 参考訳（メタデータ） (2024-02-01T14:46:35Z) - Lost in Interpreting: Speech Translation from Source or Interpreter? [0.0]
チェコ語とドイツ語を同時に解釈しながら、欧州議会の演説を英語で10時間の録音と書き起こしを公開します。
話者ベースおよびインタプリタベース音声翻訳システムの品質とレイテンシを英語からチェコ語に比較検討した。
論文 参考訳（メタデータ） (2021-06-17T09:32:49Z) - Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。
語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。
我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
論文 参考訳（メタデータ） (2020-04-28T05:23:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。