論文の概要: In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation
- arxiv url: http://arxiv.org/abs/2408.00397v1
- Date: Thu, 1 Aug 2024 09:07:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 21:05:55.590286
- Title: In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation
- Title（参考訳）: 類似検索によるインコンテキスト例選択による低リソース機械翻訳の改善
- Authors: Armel Zebaze, Benoît Sagot, Rachel Bawden,
- Abstract要約: 機械翻訳(MT)は、テキスト内翻訳の例から恩恵を受けることが示されているタスクである。
サンプルの選択方法に関する体系的な研究は発表されておらず、類似性に基づく選択の有用性について混合の結果が報告されている。
文の埋め込み類似性は,特に低リソース言語方向においてMTを改善することができる。
- 参考スコア（独自算出の注目度）: 20.704153242284114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability of generative large language models (LLMs) to perform in-context learning has given rise to a large body of research into how best to prompt models for various natural language processing tasks. In this paper, we focus on machine translation (MT), a task that has been shown to benefit from in-context translation examples. However no systematic studies have been published on how best to select examples, and mixed results have been reported on the usefulness of similarity-based selection over random selection. We provide a study covering multiple LLMs and multiple in-context example retrieval strategies, comparing multilingual sentence embeddings. We cover several language directions, representing different levels of language resourcedness (English into French, German, Swahili and Wolof). Contrarily to previously published results, we find that sentence embedding similarity can improve MT, especially for low-resource language directions, and discuss the balance between selection pool diversity and quality. We also highlight potential problems with the evaluation of LLM-based MT and suggest a more appropriate evaluation protocol, adapting the COMET metric to the evaluation of LLMs. Code and outputs are freely available at https://github.com/ArmelRandy/ICL-MT.
- Abstract（参考訳）: 生成型大規模言語モデル(LLM)がコンテキスト内学習を行う能力は、様々な自然言語処理タスクのモデルをどのように促進するかについて、多くの研究を巻き起こした。
本稿では,機械翻訳(MT)に焦点をあてる。
しかしながら、サンプルの選択方法に関する体系的な研究は発表されておらず、乱数選択に対する類似性に基づく選択の有用性について混合の結果が報告されている。
本稿では,複数のLLMと複数のテキスト内サンプル検索戦略について,多言語文の埋め込みの比較を行った。
言語資源のレベルが異なる(フランス語、ドイツ語、スワヒリ語、ウーロフ語)。
先に公表した結果と対照的に、特に低リソース言語方向において、文の埋め込み類似性がMTを改善することを示し、選択プールの多様性と品質のバランスを議論する。
また, LLM に基づく MT の評価における潜在的な問題を強調し,より適切な評価プロトコルを提案し, COMET メトリックを LLM の評価に適用する。
コードと出力はhttps://github.com/ArmelRandy/ICL-MTで無償公開されている。
関連論文リスト
- Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳（メタデータ） (2024-10-26T00:39:44Z) - What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。
本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
論文 参考訳（メタデータ） (2024-10-04T09:50:45Z) - Generating bilingual example sentences with large language models as lexicography assistants [2.6550899846546527]
本稿では,資源レベルの異なる言語におけるバイリンガル辞書の例文の生成と評価におけるLLMの性能について検討する。
GDEX(Good Dictionary Example)基準に対するLCM生成例の品質評価を行った。
論文 参考訳（メタデータ） (2024-10-04T06:45:48Z) - SCOI: Syntax-augmented Coverage-based In-context Example Selection for Machine Translation [13.87098305304058]
そこで本研究では,機械翻訳(MT)における文脈内例の選択に統語的知識を導入する。
我々は、構文拡張されたコベレージベースのIn-context example selection (SCOI) という新しい戦略を提案する。
提案するSCOIは,すべての学習自由手法の中で,平均COMETスコアが最も高い。
論文 参考訳（メタデータ） (2024-08-09T05:25:17Z) - Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。
我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
論文 参考訳（メタデータ） (2024-06-21T20:02:22Z) - Going Beyond Word Matching: Syntax Improves In-context Example Selection for Machine Translation [13.87098305304058]
In-context Learning (ICL) は、大規模言語モデル(LLM)の時代におけるトレンドの促進戦略である。
機械翻訳(MT)のテキスト内サンプル選択は、表面的な単語レベルの特徴に重点を置いている。
本稿では,依存木間の構文的類似性を計算し,構文に基づくMTの例選択手法を提案する。
論文 参考訳（メタデータ） (2024-03-28T10:13:34Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳（メタデータ） (2023-12-26T18:38:54Z) - Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。
コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文 参考訳（メタデータ） (2023-10-15T06:12:58Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-14T05:23:08Z) - mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models [57.225289079198454]
マルチ並列コーパスを用いてmPLMから言語間の類似性を誘導する言語類似度尺度mPLMSimを提案する。
本研究は,mPLM-Simが,レキシコ,系譜系,地理的スプラックバンドなどの言語類似性尺度と適度に高い相関を示すことを示す。
さらに,mPLMSimが低レベル構文タスクと高レベル意味タスクの両方で実験を行うことで,ゼロショットの言語間移動に有効であるかどうかについても検討する。
論文 参考訳（メタデータ） (2023-05-23T04:44:26Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。