論文の概要: Benchmarking LLM-based Machine Translation on Cultural Awareness
- arxiv url: http://arxiv.org/abs/2305.14328v2
- Date: Sat, 23 Mar 2024 02:20:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 03:48:07.936902
- Title: Benchmarking LLM-based Machine Translation on Cultural Awareness
- Title(参考訳): 文化意識に基づくLLM機械翻訳のベンチマーク
- Authors: Binwei Yao, Ming Jiang, Diyi Yang, Junjie Hu,
- Abstract要約: 文化的内容の翻訳は、効果的な異文化間コミュニケーションに不可欠である。
インコンテキスト学習の最近の進歩は、機械翻訳タスクにおける大規模言語モデル(LLM)のガイドに軽量なプロンプトを利用する。
我々は、文化的に関連する並列コーパスを構築するために、新しいデータキュレーションパイプラインを導入する。
- 参考スコア(独自算出の注目度): 53.83912076814508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Translating cultural-specific content is crucial for effective cross-cultural communication. However, many MT systems still struggle to translate sentences containing cultural-specific entities accurately and understandably. Recent advancements in in-context learning utilize lightweight prompts to guide large language models (LLMs) in machine translation tasks. Nevertheless, the effectiveness of this approach in enhancing machine translation with cultural awareness remains uncertain. To address this gap, we introduce a new data curation pipeline to construct a culturally relevant parallel corpus, enriched with annotations of cultural-specific items. Furthermore, we devise a novel evaluation metric to assess the understandability of translations in a reference-free manner by GPT-4. We evaluate a variety of neural machine translation (NMT) and LLM-based MT systems using our dataset. Additionally, we propose several prompting strategies for LLMs to incorporate external and internal cultural knowledge into the translation process. Our results demonstrate that eliciting explanations can significantly enhance the understandability of cultural-specific entities, especially those without well-known translations.
- Abstract(参考訳): 文化的内容の翻訳は、効果的な異文化間コミュニケーションに不可欠である。
しかし、多くのMTシステムは、文化的特有物を含む文を正確かつ正確に翻訳するのに依然として苦労している。
インコンテキスト学習の最近の進歩は、機械翻訳タスクにおける大規模言語モデル(LLM)のガイドに軽量なプロンプトを利用する。
しかし、この手法が機械翻訳の文化的意識を高める効果は、いまだに不明である。
このギャップに対処するため,我々は,文化的に関連のある並列コーパスを構築するための新しいデータキュレーションパイプラインを導入する。
さらに, GPT-4を用いて, 翻訳の可読性を評価するための新しい評価指標を考案した。
我々は、データセットを用いて、さまざまなニューラルネットワーク翻訳(NMT)とLLMベースのMTシステムを評価する。
さらに, 翻訳プロセスに外部および内部文化知識を組み込むため, LLM の促進策をいくつか提案する。
以上の結果から,提案する説明書は,特によく知られた翻訳のないものにおいて,文化的特有な実体の理解性を著しく向上させることができることが示唆された。
関連論文リスト
- Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳(メタデータ) (2024-05-07T20:28:34Z) - MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。
我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-14T16:07:39Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z) - CultureLLM: Incorporating Cultural Differences into Large Language
Models [39.33251733412784]
CultureLLMは、大きな言語モデルに文化的差異を組み込むためのコスト効率の良いソリューションである。
我々の人間による研究は、生成されたサンプルが元のサンプルと意味的に等価であることを示している。
論文 参考訳(メタデータ) (2024-02-09T04:02:43Z) - Aligning Translation-Specific Understanding to General Understanding in
Large Language Models [33.617194314112645]
大きな言語モデル(LLM)は驚くべき言語理解と生成能力を示している。
難解な単語のCross-Lingual Interpretation(Cross-Lingual Interpretation)を提案する。
xIoDは、翻訳が難しい単語の言語間解釈を実行し、生成された解釈で翻訳を強化する。
論文 参考訳(メタデータ) (2024-01-10T11:03:53Z) - Cultural Adaptation of Recipes [24.825456977440616]
本稿では、中国料理と英語料理のレシピの翻訳と文化適応に関する新たな課題を紹介する。
この調査を支援するために、中国語と英語で書かれたレシピを自動的に組み合わせたユニークなデータセットであるCulturalRecipesを提示する。
我々は,GPT-4や他の大規模言語モデル,従来の機械翻訳,情報検索技術など,様々な手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-10-26T12:39:20Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳(メタデータ) (2023-09-20T22:22:52Z) - Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。
我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。
SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-10-14T01:24:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。