論文の概要: Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent

• arxiv url: http://arxiv.org/abs/2407.21646v2
• Date: Fri, 30 Aug 2024 06:50:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 17:48:46.439385
• Title: Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent
• Title（参考訳）: エンド・ツー・エンド同時音声翻訳におけるLLMエージェントによる人間親の獲得に向けて
• Authors: Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang,
• Abstract要約: 本稿では,CLASI(Cultitaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST)システム)を提案する。 プロフェッショナルなヒューマンインタプリタにインスパイアされた私たちは、新しいデータ駆動の読み書き戦略を使用して、翻訳品質とレイテンシのバランスを取ります。
• 参考スコア（独自算出の注目度）: 26.59111745651743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.
• Abstract（参考訳）: 本稿では,クロス言語エージェントであるCLASIについて述べる。 プロフェッショナルなヒューマンインタプリタにインスパイアされた私たちは、新しいデータ駆動の読み書き戦略を使用して、翻訳品質とレイテンシのバランスを取ります。 ドメイン内用語の翻訳の課題に対処するため、CLASIは多モーダル検索モジュールを使用して翻訳を強化するための関連情報を取得する。 提案手法は, 入力音声, 履歴状況, 検索情報を考慮し, 誤り許容翻訳を生成する。 実験結果から,本システムは他システムよりも優れた性能を示した。 専門家の人間通訳と相まって,より優れた評価基準,有効な情報比率(VIP)でCLASIを評価し,聴取者に伝達できる情報量を測定した。 実世界のシナリオでは、言語が不流で非公式で不明瞭な場合、CLASIは中国語と英語と中国語の翻訳方向それぞれ81.3%と78.0%のVIPを達成している。 対照的に、最先端の商用またはオープンソースシステムは35.4%と41.6%しか達成していない。 非常に厳しいデータセットでは、他のシステムが13%のVIPで達成できるが、CLASIは70%のVIPを達成できる。

関連論文リスト

• SCOPE: Sign Language Contextual Processing with Embedding from LLMs [49.5629738637893]
  世界中の約7000万人の聴覚障害者が使用する手話は、視覚的および文脈的な情報を伝える視覚言語である。 視覚に基づく手話認識(SLR)と翻訳(SLT)の現在の手法は、限られたデータセットの多様性と文脈に関連のある情報の無視により、対話シーンに苦慮している。 SCOPEは、コンテキスト認識型ビジョンベースSLRおよびSLTフレームワークである。
  論文  参考訳（メタデータ） (2024-09-02T08:56:12Z)
• (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
  本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。 本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:55:08Z)
• Towards a Deep Understanding of Multilingual End-to-End Speech Translation [52.26739715012842]
  我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。 我々は分析から3つの大きな発見を得た。
  論文  参考訳（メタデータ） (2023-10-31T13:50:55Z)
• End-to-End Speech Recognition Contextualization with Large Language Models [25.198480789044346]
  本稿では,Large Language Models (LLM) を取り入れた音声認識モデルの文脈化手法を提案する。 音声機能とコンテクスト用のオプションテキストトークンを提供し、デコーダのみの方法でシステムに書き起こしを訓練する。 実験の結果,追加のテキストコンテキストが提供されると,WERが6%削減され,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-09-19T20:28:57Z)
• KIT's Multilingual Speech Translation System for IWSLT 2023 [58.5152569458259]
  IWSLT 2023の多言語トラックに対する音声翻訳システムについて述べる。 このタスクは、様々な量のリソースを持つ10の言語に翻訳する必要がある。 我々のケースド音声システムは、科学的な話の翻訳において、エンドツーエンドの音声よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-06-08T16:13:20Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation [13.352795145385645]
  音声翻訳(ST)は、エンドツーエンドの音声言語理解のために、音声モデルを事前訓練する良い方法である。 我々は,本モデルが単言語および多言語意図分類に基づくベースラインよりも高い性能を達成することを示す。 また、音声要約のための新しいベンチマークデータセットを作成し、低リソース/ゼロショットを英語からフランス語またはスペイン語に転送する。
  論文  参考訳（メタデータ） (2023-05-16T17:53:03Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。