論文の概要: Efficiently Exploring Large Language Models for Document-Level Machine Translation with In-context Learning

• arxiv url: http://arxiv.org/abs/2406.07081v1
• Date: Tue, 11 Jun 2024 09:11:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 16:44:39.022074
• Title: Efficiently Exploring Large Language Models for Document-Level Machine Translation with In-context Learning
• Title（参考訳）: 文脈内学習を用いた文書レベル機械翻訳のための大規模言語モデルの効率的な探索
• Authors: Menglong Cui, Jiangcun Du, Shaolin Zhu, Deyi Xiong,
• Abstract要約: 文レベルの翻訳とは対照的に、文脈内学習に基づく大規模言語モデル(LLM)による文書レベルの翻訳(DOCMT)は2つの大きな課題に直面している。 本研究では,文脈認識型プロンプト法(CAP)を提案する。 様々なDOCMTタスクに対して広範な実験を行い,本手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 38.89119606657543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit outstanding performance in machine translation via in-context learning. In contrast to sentence-level translation, document-level translation (DOCMT) by LLMs based on in-context learning faces two major challenges: firstly, document translations generated by LLMs are often incoherent; secondly, the length of demonstration for in-context learning is usually limited. To address these issues, we propose a Context-Aware Prompting method (CAP), which enables LLMs to generate more accurate, cohesive, and coherent translations via in-context learning. CAP takes into account multi-level attention, selects the most relevant sentences to the current one as context, and then generates a summary from these collected sentences. Subsequently, sentences most similar to the summary are retrieved from the datastore as demonstrations, which effectively guide LLMs in generating cohesive and coherent translations. We conduct extensive experiments across various DOCMT tasks, and the results demonstrate the effectiveness of our approach, particularly in zero pronoun translation (ZPT) and literary translation tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、文脈内学習による機械翻訳において優れた性能を示す。 文レベルの翻訳とは対照的に、LLMによる文書レベルの翻訳(DOCMT)は、文脈内学習に基づく2つの大きな課題に直面している。 これらの問題に対処するために,LLM がコンテキスト内学習を通じてより正確で凝集的で一貫性のある翻訳を生成できる Context-Aware Prompting Method (CAP) を提案する。 CAPは多段階の注意を考慮に入れ、関連のある文を現在の文にコンテキストとして選択し、収集した文から要約を生成する。 その後、要約に最もよく似た文は、データストアからデモとして検索され、LLMを効果的にガイドし、凝集性およびコヒーレントな翻訳を生成する。 我々は様々なDOCMTタスクにわたる広範囲な実験を行い、その結果、特にゼロ代名詞翻訳(ZPT)や文学翻訳タスクにおいて、我々のアプローチの有効性を実証した。

関連論文リスト

• Analyzing Context Contributions in LLM-based Machine Translation [21.95318929582271]
  大規模言語モデル(LLM)は機械翻訳(MT)において最先端の性能を達成した 本研究は,LLM が翻訳文を生成する際に,少数ショット例やソーステキストなど,様々な文脈をどう利用するかを検討する。 我々の研究は、標準エンコーダ・デコーダMTモデルで知られているものを超えるLCMベースのMTの内部動作に光を当てた。
  論文  参考訳（メタデータ） (2024-10-21T17:51:41Z)
• Effective Self-Mining of In-Context Examples for Unsupervised Machine Translation with LLMs [16.98133269527045]
  機械翻訳(MT)における文脈内例の教師なし手法を提案する。 教師なし並列文のプールから最適なテキスト内例を選択するためのフィルタリング基準を導入する。 本研究は,MTの文脈内マイニングにおける教師なしアプローチの有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-10-14T18:47:04Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• Learning Coupled Policies for Simultaneous Machine Translation using Imitation Learning [85.70547744787]
  本稿では,プログラマ-解釈ポリシーを併用した同時翻訳モデルを効率よく学習する手法を提案する。 6つの言語対の実験により,翻訳品質の点で,本手法は高いベースラインを達成できた。
  論文  参考訳（メタデータ） (2020-02-11T10:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。