Fugu-MT 論文翻訳(概要): Towards Speech Dialogue Translation Mediating Speakers of Different Languages

論文の概要: Towards Speech Dialogue Translation Mediating Speakers of Different Languages

arxiv url: http://arxiv.org/abs/2305.09210v2
Date: Mon, 22 May 2023 04:45:29 GMT
ステータス: 処理完了
システム内更新日: 2023-05-24 02:22:00.262524
Title: Towards Speech Dialogue Translation Mediating Speakers of Different Languages
Title（参考訳）: 異なる言語話者を仲介する音声対話翻訳に向けて
Authors: Shuichiro Shimizu, Chenhui Chu, Sheng Li and Sadao Kurohashi
Abstract要約: 本稿では,文脈,すなわちモノリンガルコンテキストとバイリンガルコンテキストの2つの方法を提案する。我々はWhisperとmBARTを用いてケースケード音声翻訳実験を行い、我々の設定においてバイリンガル文脈がより優れていることを示す。
参考スコア（独自算出の注目度）: 31.388679893951842
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a new task, speech dialogue translation mediating speakers of different languages. We construct the SpeechBSD dataset for the task and conduct baseline experiments. Furthermore, we consider context to be an important aspect that needs to be addressed in this task and propose two ways of utilizing context, namely monolingual context and bilingual context. We conduct cascaded speech translation experiments using Whisper and mBART, and show that bilingual context performs better in our settings.
Abstract（参考訳）: 異なる言語話者を仲介する新しいタスクである音声対話翻訳を提案する。タスク用の speechbsd データセットを構築し,ベースライン実験を行う。さらに,この課題において,文脈を対処すべき重要な側面と捉え,文脈を利用する2つの方法,すなわち単言語文脈とバイリンガル文脈を提案する。我々はWhisperとmBARTを用いてケースケード音声翻訳実験を行い、我々の設定においてバイリンガル文脈がより優れていることを示す。

関連論文リスト

Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
論文参考訳（メタデータ） (2023-08-03T15:47:04Z)
BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
論文参考訳（メタデータ） (2023-06-02T12:54:38Z)
ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
論文参考訳（メタデータ） (2023-05-24T07:42:15Z)
A Multi-task Multi-stage Transitional Training Framework for Neural Chat Translation [84.59697583372888]
ニューラルチャット翻訳(NCT)は、異なる言語の話者間の言語間チャットを翻訳することを目的としている。既存の文脈対応NMTモデルは、注釈付きバイリンガル対話のリソースが限られているため、満足な性能を達成できない。 NCTモデルをバイリンガルチャット翻訳データセットと追加の単言語対話を用いて訓練するマルチタスク・マルチステージ・トランザクショナル(MMT)トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-01-27T14:41:16Z)
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
言語間複数話者音声合成タスクの事前学習法を拡張した。本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-11-07T13:35:16Z)
Unified Speech-Text Pre-training for Speech Translation and Recognition [113.31415771943162]
音声認識のためのエンコーダ・デコーダ・モデリング・フレームワークにおいて,音声とテキストを協調的に事前学習する手法について述べる。提案手法は,4つの自己教師付きサブタスクを組み込んだクロスモーダル学習手法である。 MuST-C音声翻訳データセットの最先端よりも1.7から2.3BLEUの改善が達成されている。
論文参考訳（メタデータ） (2022-04-11T20:59:51Z)
Who says like a style of Vitamin: Towards Syntax-Aware DialogueSummarization using Multi-task Learning [2.251583286448503]
個々の話者からの発声と独特の統語構造との関係に焦点をあてる。話者は、音声プリントのような言語情報を含むことができる独自のテキストスタイルを持つ。構文認識情報と対話要約の両方をマルチタスクで学習する。
論文参考訳（メタデータ） (2021-09-29T05:30:39Z)
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task [36.51221186190272]
IWSLT 2021評価キャンペーンに提出したエンドツーエンドの多言語音声翻訳システムについて述べる。本システムは,モダリティ,タスク,言語間の伝達学習を活用して構築する。
論文参考訳（メタデータ） (2021-07-14T19:43:44Z)
Improving Speech Translation by Understanding and Learning from the Auxiliary Text Translation Task [26.703809355057224]
我々は,タスクがマルチタスク学習フレームワークにおけるメインタスクに与える影響を理解するために,詳細な分析を行う。解析により、マルチタスク学習は、異なるモダリティから同様のデコーダ表現を生成する傾向があることを確認した。これらの知見に触発されて,翻訳品質を向上させる3つの方法を提案する。
論文参考訳（メタデータ） (2021-07-12T23:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。