論文の概要: Effective Self-Mining of In-Context Examples for Unsupervised Machine Translation with LLMs

• arxiv url: http://arxiv.org/abs/2410.11006v1
• Date: Mon, 14 Oct 2024 18:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:55.307564
• Title: Effective Self-Mining of In-Context Examples for Unsupervised Machine Translation with LLMs
• Title（参考訳）: LLMを用いた教師なし機械翻訳における実例の効果的自己マイニング
• Authors: Abdellah El Mekki, Muhammad Abdul-Mageed,
• Abstract要約: 機械翻訳(MT)における文脈内例の教師なし手法を提案する。 教師なし並列文のプールから最適なテキスト内例を選択するためのフィルタリング基準を導入する。 本研究は,MTの文脈内マイニングにおける教師なしアプローチの有効性を実証するものである。
• 参考スコア（独自算出の注目度）: 16.98133269527045
• License:
• Abstract: Large Language Models (LLMs) have demonstrated impressive performance on a wide range of natural language processing (NLP) tasks, primarily through in-context learning (ICL). In ICL, the LLM is provided with examples that represent a given task such that it learns to generate answers for test inputs. However, access to these in-context examples is not guaranteed especially for low-resource or massively multilingual tasks. In this work, we propose an unsupervised approach to mine in-context examples for machine translation (MT), enabling unsupervised MT (UMT) across different languages. Our approach begins with word-level mining to acquire word translations that are then used to perform sentence-level mining. As the quality of mined parallel pairs may not be optimal due to noise or mistakes, we introduce a filtering criterion to select the optimal in-context examples from a pool of unsupervised parallel sentences. We evaluate our approach using two multilingual LLMs on 288 directions from the FLORES-200 dataset and analyze the impact of various linguistic features on performance. Our findings demonstrate the effectiveness of our unsupervised approach in mining in-context examples for MT, leading to better or comparable translation performance as translation with regular in-context samples (extracted from human-annotated data), while also outperforming the other state-of-the-art UMT methods by an average of $7$ BLEU points.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、主にコンテキスト内学習(ICL)を通じて、幅広い自然言語処理(NLP)タスクにおいて、印象的なパフォーマンスを示す。 ICLでは、LLMは与えられたタスクを表す例を提供しており、テスト入力に対する回答を生成することを学習している。 しかし、これらのインコンテキストの例へのアクセスは、特に低リソースや多言語タスクでは保証されない。 本研究では,機械翻訳(MT)における非教師なしの例を抽出し,異なる言語間での教師なしのMT(UMT)を可能にする手法を提案する。 我々のアプローチは単語レベルのマイニングから始まり、文レベルのマイニングに使用される単語翻訳を取得する。 抽出された並列ペアの品質はノイズや誤りのために最適ではない可能性があるため、教師なし並列文のプールから最適なインコンテキストの例を選択するためのフィルタリング基準を導入する。 FLORES-200データセットから288方向の288方向の2つの多言語 LLM を用いてアプローチを評価し,様々な言語的特徴が性能に与える影響を解析した。 本研究は,MTのテキスト内サンプルのマイニングにおける教師なし手法の有効性を実証し,通常のテキスト内サンプル(人間の注釈データから抽出した)を用いた翻訳法として,より優れた翻訳性能と同等の翻訳性能を達成し,また,最先端のUTT法を平均7$ BLEUポイントで上回る結果を得た。

関連論文リスト

• Analyzing Context Contributions in LLM-based Machine Translation [21.95318929582271]
  大規模言語モデル(LLM)は機械翻訳(MT)において最先端の性能を達成した 本研究は,LLM が翻訳文を生成する際に,少数ショット例やソーステキストなど,様々な文脈をどう利用するかを検討する。 我々の研究は、標準エンコーダ・デコーダMTモデルで知られているものを超えるLCMベースのMTの内部動作に光を当てた。
  論文  参考訳（メタデータ） (2024-10-21T17:51:41Z)
• In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation [20.704153242284114]
  機械翻訳(MT)は、テキスト内翻訳の例から恩恵を受けることが示されているタスクである。 サンプルの選択方法に関する体系的な研究は発表されておらず、類似性に基づく選択の有用性について混合の結果が報告されている。 文の埋め込み類似性は,特に低リソース言語方向においてMTを改善することができる。
  論文  参考訳（メタデータ） (2024-08-01T09:07:32Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Efficiently Exploring Large Language Models for Document-Level Machine Translation with In-context Learning [38.89119606657543]
  文レベルの翻訳とは対照的に、文脈内学習に基づく大規模言語モデル(LLM)による文書レベルの翻訳(DOCMT)は2つの大きな課題に直面している。 本研究では,文脈認識型プロンプト法(CAP)を提案する。 様々なDOCMTタスクに対して広範な実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-11T09:11:17Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation [91.57514888410205]
  大規模言語モデル(LLM)は、プロンプトによる機械翻訳(MT)能力を示す。 LLMは、低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する。 LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-02-15T18:46:42Z)
• In-context Examples Selection for Machine Translation [101.50473468507697]
  大規模生成モデルは、コンテキスト内学習を用いて、幅広い自然言語処理(NLP)タスクを実行するという印象的な能力を示している。 機械翻訳(MT)の場合、これらの例は、通常、開発データセットからランダムにサンプリングされ、評価セットと同じような分布を持つ。 テキスト内サンプルの翻訳品質とドメインが重要であり,1ショットノイズ非関連例が出力品質に破滅的な影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-12-05T17:25:15Z)
• Prompting PaLM for Translation: Assessing Strategies and Performance [16.73524055296411]
  経路言語モデル (PaLM) は, 同様に訓練されたLLMの中で最強の機械翻訳(MT)性能を示した。 我々は、PaLMのMT機能に関する以前の評価を、より最近のテストセット、現代のMTメトリクス、そして人間の評価で再検討し、その性能は、印象的ではあるが、最先端の監視システムよりも遅れていることを発見した。
  論文  参考訳（メタデータ） (2022-11-16T18:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。