論文の概要: NAIST-SIC-Aligned: an Aligned English-Japanese Simultaneous Interpretation Corpus

• arxiv url: http://arxiv.org/abs/2304.11766v4
• Date: Mon, 1 Apr 2024 01:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 13:51:35.888184
• Title: NAIST-SIC-Aligned: an Aligned English-Japanese Simultaneous Interpretation Corpus
• Title（参考訳）: NAIST-SIC-Aligned: Anigned English-Japanese Simultaneous Interpretation Corpus
• Authors: Jinming Zhao, Yuka Ko, Kosuke Doi, Ryo Fukuda, Katsuhito Sudoh, Satoshi Nakamura,
• Abstract要約: 同時解釈(SI)データが同時機械翻訳(SiMT)に与える影響は依然として疑問である。 自動整列した英語と日本語のSIデータセットであるNAIST-SIC-Alignedを導入する。 その結果,SIデータでトレーニングしたモデルでは,ベースラインよりも翻訳品質とレイテンシが大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 23.49376007047965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It remains a question that how simultaneous interpretation (SI) data affects simultaneous machine translation (SiMT). Research has been limited due to the lack of a large-scale training corpus. In this work, we aim to fill in the gap by introducing NAIST-SIC-Aligned, which is an automatically-aligned parallel English-Japanese SI dataset. Starting with a non-aligned corpus NAIST-SIC, we propose a two-stage alignment approach to make the corpus parallel and thus suitable for model training. The first stage is coarse alignment where we perform a many-to-many mapping between source and target sentences, and the second stage is fine-grained alignment where we perform intra- and inter-sentence filtering to improve the quality of aligned pairs. To ensure the quality of the corpus, each step has been validated either quantitatively or qualitatively. This is the first open-sourced large-scale parallel SI dataset in the literature. We also manually curated a small test set for evaluation purposes. Our results show that models trained with SI data lead to significant improvement in translation quality and latency over baselines. We hope our work advances research on SI corpora construction and SiMT. Our data can be found at https://github.com/mingzi151/AHC-SI.
• Abstract（参考訳）: 同時解釈(SI)データが同時機械翻訳(SiMT)にどのように影響するかは依然として疑問である。 大規模なトレーニングコーパスがないため、研究は限られている。 本研究では,NAIST-SIC-Alignedを導入し,そのギャップを埋めることを目的としている。 非整合コーパスNAIST-SIC から,コーパスを並列化してモデルトレーニングに適した2段階アライメント手法を提案する。 第1段は粗いアライメント,第2段は細粒度アライメント,第2段は文内フィルタ,第2段は文間フィルタリングを行い,整列ペアの品質を向上させる。 コーパスの品質を確保するため、各ステップは定量的または質的に検証されている。 これは、文献における最初のオープンソースの大規模並列SIデータセットである。 評価目的の小さなテストセットも手作業でキュレートしました。 その結果,SIデータでトレーニングしたモデルでは,ベースラインよりも翻訳品質とレイテンシが大幅に向上することがわかった。 SIコーパスの構築とSiMTに関する研究を進めていくことを願っている。 我々のデータはhttps://github.com/mingzi151/AHC-SIで確認できます。

関連論文リスト

• Simultaneous Interpretation Corpus Construction by Large Language Models in Distant Language Pair [25.492954759111708]
  同時機械翻訳(SiMT)システムにおいて、SIコーパスを用いた訓練は高品質で低レイテンシなシステムを実現する効果的な方法である。 本稿では,既存の音声翻訳コーパスを解釈型データに変換し,原語順を維持し,大言語モデル(LLM-SI-Corpus)を用いてソースコンテンツ全体を保存する手法を提案する。 LLM-SI-Corpusを用いたテキスト・テキスト・音声・テキスト設定における微調整SiMTモデルは、オフラインデータセットでトレーニングされたモデルと同じ品質を維持しながら、レイテンシを低減することを実証する。
  論文  参考訳（メタデータ） (2024-04-18T16:24:12Z)
• Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts [50.00305136008848]
  本研究では,並列コーパスマイニングのためのフレームワークを提案し,Coursera の公開講義から並列コーパスを迅速かつ効果的にマイニングする方法を提案する。 日英両国の講義翻訳において,約5万行の並列コーパスを抽出し,開発・テストセットを作成した。 また,コーパスの収集とクリーニング,並列文のマイニング,マイニングデータのクリーニング,高品質な評価スプリットの作成に関するガイドラインも提案した。
  論文  参考訳（メタデータ） (2023-11-07T03:50:25Z)
• PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
  PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。 本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。 これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-24T15:46:26Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Original or Translated? On the Use of Parallel Data for Translation Quality Estimation [81.27850245734015]
  並列データと実QEデータの間には,大きなギャップがある。 並列データの場合、それは無差別であり、翻訳文はソースまたはターゲットサイドで発生する可能性がある。 パラレルコーパスのソース元部分の使用は、そのターゲット元よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-12-20T14:06:45Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• A Corpus for English-Japanese Multimodal Neural Machine Translation with Comparable Sentences [21.43163704217968]
  既存の画像キャプションデータセットから合成した文に匹敵する多モーダルな英和コーパスを提案する。 ベースライン実験において翻訳スコアが低かったため、現在のマルチモーダルNMTモデルは、比較文データを有効に活用するために設計されていないと信じている。
  論文  参考訳（メタデータ） (2020-10-17T06:12:25Z)
• Unsupervised Parallel Corpus Mining on Web Data [53.74427402568838]
  並列コーパスを教師なしでインターネットからマイニングするためのパイプラインを提示する。 我々のシステムは、監督されたアプローチと比較しても、39.81と38.95のBLEUスコアを新たに生成する。
  論文  参考訳（メタデータ） (2020-09-18T02:38:01Z)
• Parallel Corpus Filtering via Pre-trained Language Models [14.689457985200141]
  Webcrawled Dataは、機械翻訳モデルをトレーニングするための並列コーパスの優れたソースを提供する。 最近の研究によると、ニューラルマシン翻訳システムは従来の統計機械翻訳法よりもノイズに敏感である。 本稿では,事前学習言語モデルを用いて,Webcrawled corporaからノイズの多い文ペアを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-13T06:06:23Z)
• Coursera Corpus Mining and Multistage Fine-Tuning for Improving Lectures Translation [37.04364877980479]
  本稿では,Coursera の公開講義から並列コーパスをマイニングする方法を紹介する。 提案手法は,連続空間の文表現よりも機械翻訳とコサイン類似性に頼って,文のアライメントを決定する。 日本語-英語の講義翻訳では,約4万行の並列データを抽出し,開発・テストセットを作成した。
  論文  参考訳（メタデータ） (2019-12-26T01:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。