論文の概要: Towards cross-language prosody transfer for dialog

• arxiv url: http://arxiv.org/abs/2307.04123v1
• Date: Sun, 9 Jul 2023 08:32:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 15:22:18.947257
• Title: Towards cross-language prosody transfer for dialog
• Title（参考訳）: 対話のための言語間韻律伝達に向けて
• Authors: Jonathan E. Avila, Nigel G. Ward
• Abstract要約: 音声音声翻訳システムは、対話目的の使用を適切にサポートしていない。 特に、不適切な韻律移動により話者意図や姿勢のニュアンスを失うことがある。 本研究では,バイリンガル話者が他の言語での会話から発する発話を再現するデータ収集プロトコルを開発する。
• 参考スコア（独自算出の注目度）: 3.3758186776249928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-to-speech translation systems today do not adequately support use for dialog purposes. In particular, nuances of speaker intent and stance can be lost due to improper prosody transfer. We present an exploration of what needs to be done to overcome this. First, we developed a data collection protocol in which bilingual speakers re-enact utterances from an earlier conversation in their other language, and used this to collect an English-Spanish corpus, so far comprising 1871 matched utterance pairs. Second, we developed a simple prosodic dissimilarity metric based on Euclidean distance over a broad set of prosodic features. We then used these to investigate cross-language prosodic differences, measure the likely utility of three simple baseline models, and identify phenomena which will require more powerful modeling. Our findings should inform future research on cross-language prosody and the design of speech-to-speech translation systems capable of effective prosody transfer.
• Abstract（参考訳）: 現在、音声音声翻訳システムは、対話目的の使用を十分にサポートしていない。 特に、不適切な韻律移動により話者意図や姿勢のニュアンスを失うことがある。 我々はこれを克服するためにすべきことを探求する。 まず, 英語とスペイン語のコーパスを収集するために, 1871年のマッチング発話ペアを用いて, バイリンガル話者が他の言語での会話から発話を再現するデータ収集プロトコルを開発した。 第2に,幅広い韻律的特徴集合上のユークリッド距離に基づく簡易な韻律的異性度尺度を開発した。 次にこれらを用いて、言語間の韻律的差異を調査し、3つの単純なベースラインモデルの有用性を測定し、より強力なモデリングを必要とする現象を特定する。 本研究は, 言語間韻律に関する今後の研究や, 効果的韻律伝達が可能な音声音声翻訳システムの設計について報告する。

関連論文リスト

• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• Cross-Lingual Speaker Identification Using Distant Supervision [84.51121411280134]
  本稿では,文脈推論の欠如や言語間一般化の低さといった問題に対処する話者識別フレームワークを提案する。 その結果,2つの英語話者識別ベンチマークにおいて,従来の最先端手法よりも9%の精度,5%の精度で性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-11T20:49:44Z)
• Cross-lingual Low Resource Speaker Adaptation Using Phonological Features [2.8080708404213373]
  我々は、異なる言語に共通する音韻的特徴のセットに基づいて、言語に依存しないマルチスピーカモデルを訓練する。 対象話者データの32と8の発声で、対応する文献に匹敵する高い話者類似度スコアと自然性を得る。
  論文  参考訳（メタデータ） (2021-11-17T12:33:42Z)
• Cross-lingual hate speech detection based on multilingual domain-specific word embeddings [4.769747792846004]
  トランスファーラーニングの視点から多言語のヘイトスピーチ検出の課題に取り組むことを提案する。 私たちの目標は、ある特定の言語の知識が他の言語の分類に使用できるかどうかを判断することです。 単純かつ特定された多言語ヘイト表現を用いることで分類結果が向上することを示す。
  論文  参考訳（メタデータ） (2021-04-30T02:24:50Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)
• Speaker Independent and Multilingual/Mixlingual Speech-Driven Talking Head Generation Using Phonetic Posteriorgrams [58.617181880383605]
  そこで本研究では,音声後部グラフを用いた新しい手法を提案する。 我々の手法は手作りの特徴を必要とせず、近年の手法に比べてノイズに強い。 本モデルは,複数言語/混合言語音声を説得力のある入力としてサポートした最初のモデルである。
  論文  参考訳（メタデータ） (2020-06-20T16:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。