論文の概要: Benchmarking LLM-based Machine Translation on Cultural Awareness

• arxiv url: http://arxiv.org/abs/2305.14328v2
• Date: Sat, 23 Mar 2024 02:20:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:48:07.936902
• Title: Benchmarking LLM-based Machine Translation on Cultural Awareness
• Title（参考訳）: 文化意識に基づくLLM機械翻訳のベンチマーク
• Authors: Binwei Yao, Ming Jiang, Diyi Yang, Junjie Hu,
• Abstract要約: 文化的内容の翻訳は、効果的な異文化間コミュニケーションに不可欠である。 インコンテキスト学習の最近の進歩は、機械翻訳タスクにおける大規模言語モデル(LLM)のガイドに軽量なプロンプトを利用する。 我々は、文化的に関連する並列コーパスを構築するために、新しいデータキュレーションパイプラインを導入する。
• 参考スコア（独自算出の注目度）: 53.83912076814508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Translating cultural-specific content is crucial for effective cross-cultural communication. However, many MT systems still struggle to translate sentences containing cultural-specific entities accurately and understandably. Recent advancements in in-context learning utilize lightweight prompts to guide large language models (LLMs) in machine translation tasks. Nevertheless, the effectiveness of this approach in enhancing machine translation with cultural awareness remains uncertain. To address this gap, we introduce a new data curation pipeline to construct a culturally relevant parallel corpus, enriched with annotations of cultural-specific items. Furthermore, we devise a novel evaluation metric to assess the understandability of translations in a reference-free manner by GPT-4. We evaluate a variety of neural machine translation (NMT) and LLM-based MT systems using our dataset. Additionally, we propose several prompting strategies for LLMs to incorporate external and internal cultural knowledge into the translation process. Our results demonstrate that eliciting explanations can significantly enhance the understandability of cultural-specific entities, especially those without well-known translations.
• Abstract（参考訳）: 文化的内容の翻訳は、効果的な異文化間コミュニケーションに不可欠である。 しかし、多くのMTシステムは、文化的特有物を含む文を正確かつ正確に翻訳するのに依然として苦労している。 インコンテキスト学習の最近の進歩は、機械翻訳タスクにおける大規模言語モデル(LLM)のガイドに軽量なプロンプトを利用する。 しかし、この手法が機械翻訳の文化的意識を高める効果は、いまだに不明である。 このギャップに対処するため,我々は,文化的に関連のある並列コーパスを構築するための新しいデータキュレーションパイプラインを導入する。 さらに, GPT-4を用いて, 翻訳の可読性を評価するための新しい評価指標を考案した。 我々は、データセットを用いて、さまざまなニューラルネットワーク翻訳(NMT)とLLMベースのMTシステムを評価する。 さらに, 翻訳プロセスに外部および内部文化知識を組み込むため, LLM の促進策をいくつか提案する。 以上の結果から,提案する説明書は,特によく知られた翻訳のないものにおいて,文化的特有な実体の理解性を著しく向上させることができることが示唆された。

関連論文リスト

• Towards Cross-Cultural Machine Translation with Retrieval-Augmented Generation from Multilingual Knowledge Graphs [18.84670051328337]
  XC-Translateは、機械翻訳のための最初の大規模な手作業によるベンチマークである。 KG-MTは、多言語知識グラフからの情報をニューラルネットワーク翻訳モデルに統合する、新しいエンドツーエンド手法である。
  論文  参考訳（メタデータ） (2024-10-17T21:56:22Z)
• Cultural Adaptation of Menus: A Fine-Grained Approach [58.08115795037042]
  CSI(Machine Translation of Culture-Specific Items)は、重要な課題である。 CSI翻訳に関する最近の研究は、様々な言語や文化に適応するためにLarge Language Models (LLM)を用いていくつかの成功を収めている。 CSIラベルと非CSIラベルをアノテートした中国語メニューコーパスで最大となる ChineseMenuCSI データセットを提案する。 我々は,ほとんどのカテゴリにおいて,GPTに基づくプロンプトよりも優れた自動CSI識別手法を開発した。
  論文  参考訳（メタデータ） (2024-08-24T09:25:18Z)
• Translating Across Cultures: LLMs for Intralingual Cultural Adaptation [12.5954253354303]
  文化適応の課題を定義し,現代LLMの性能を評価するための評価枠組みを構築した。 我々は、自動適応で起こりうる問題を解析する。 本稿は, LLMの文化的理解と, 異文化のシナリオにおける創造性について, より深い知見を提供していくことを願っている。
  論文  参考訳（メタデータ） (2024-06-20T17:06:58Z)
• Distinguishing Translations by Human, NMT, and ChatGPT: A Linguistic and Statistical Approach [1.6982207802596105]
  本研究では,(1)NMTとヒト翻訳(HT)からのChatGPT生成翻訳の識別可能性,(2)翻訳タイプの言語的特徴,(3)ChatGPT生成翻訳とHT,あるいはNMTとの類似度について検討する。
  論文  参考訳（メタデータ） (2023-12-17T15:56:05Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information [90.35685796083563]
  クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。 XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。 本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
  論文  参考訳（メタデータ） (2020-05-05T17:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。