論文の概要: On Bilingual Lexicon Induction with Large Language Models
- arxiv url: http://arxiv.org/abs/2310.13995v2
- Date: Sun, 25 Feb 2024 22:34:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:09:55.373115
- Title: On Bilingual Lexicon Induction with Large Language Models
- Title(参考訳): 大規模言語モデルを用いたバイリンガル語彙誘導について
- Authors: Yaoyiran Li, Anna Korhonen, Ivan Vuli\'c
- Abstract要約: 本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。
本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。
私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
- 参考スコア(独自算出の注目度): 81.6546357879259
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bilingual Lexicon Induction (BLI) is a core task in multilingual NLP that
still, to a large extent, relies on calculating cross-lingual word
representations. Inspired by the global paradigm shift in NLP towards Large
Language Models (LLMs), we examine the potential of the latest generation of
LLMs for the development of bilingual lexicons. We ask the following research
question: Is it possible to prompt and fine-tune multilingual LLMs (mLLMs) for
BLI, and how does this approach compare against and complement current BLI
approaches? To this end, we systematically study 1) zero-shot prompting for
unsupervised BLI and 2) few-shot in-context prompting with a set of seed
translation pairs, both without any LLM fine-tuning, as well as 3) standard
BLI-oriented fine-tuning of smaller LLMs. We experiment with 18 open-source
text-to-text mLLMs of different sizes (from 0.3B to 13B parameters) on two
standard BLI benchmarks covering a range of typologically diverse languages.
Our work is the first to demonstrate strong BLI capabilities of text-to-text
mLLMs. The results reveal that few-shot prompting with in-context examples from
nearest neighbours achieves the best performance, establishing new
state-of-the-art BLI scores for many language pairs. We also conduct a series
of in-depth analyses and ablation studies, providing more insights on BLI with
(m)LLMs, also along with their limitations.
- Abstract(参考訳): バイリンガル辞書誘導(BLI)は、多言語NLPの中核的なタスクであり、依然として言語間単語表現の計算に大きく依存している。
NLPのLarge Language Models(LLMs)へのパラダイムシフトに着想を得て,両言語レキシコンの開発に向けた次世代LLMの可能性を検討する。
bliのための多言語llm(mllms)を迅速かつ微調整することは可能か、このアプローチは現在のbliアプローチとどのように比較し補完するか?
この目的のために 体系的に研究し
1)非監督的BLIとゼロショットプロンプト
2)llmを微調整することなく,一組のシード翻訳ペアでプロンプトする数発のインコンテキスト
3) 小型LLMの標準BLI微調整
異なるサイズ(0.3Bから13Bパラメータ)の18個のオープンソーステキスト・テキスト・テキストmLLMを2つの標準BLIベンチマークで実験した。
私たちの仕事は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
その結果,近辺からの文脈内サンプルによる撮影は,多くの言語ペアに対して,最先端のBLIスコアを新たに確立し,最高のパフォーマンスを得ることができた。
また,BLIと(m)LLMを併用した深部分析およびアブレーション研究も実施し,その限界についても考察した。
関連論文リスト
- Self-Augmented In-Context Learning for Unsupervised Word Translation [81.6546357879259]
大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。
教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。
提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-02-15T15:43:05Z) - Adapting Large Language Models for Document-Level Machine Translation [49.74879186939818]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。
近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-01-12T09:29:13Z) - ProMap: Effective Bilingual Lexicon Induction via Language Model
Prompting [22.743097175747575]
バイリンガル誘導(BLI)の新しいアプローチであるProMapを紹介する。
ProMapは、言語モデルの効果的なパッドドプロンプトと、独立して使用する場合に優れたパフォーマンスを実現するシード辞書に依存している。
リッチ・ソース言語とロー・ソース言語の両方で評価すると、ProMapは一貫して最先端の結果が得られます。
論文 参考訳(メタデータ) (2023-10-28T18:33:24Z) - Multilingual Sentence Transformer as A Multilingual Word Aligner [15.689680887384847]
多言語文 Transformer LaBSE が強い多言語単語アライメント器であるかどうかを検討する。
7つの言語対の実験結果から、最も優れたコーディネータは、すべての品種の過去の最先端モデルよりも優れていることが示された。
コーディネータは1つのモデルで異なる言語ペアをサポートし、ファインタニングプロセスに現れないゼロショット言語ペア上で新しい最先端の言語ペアを実現する。
論文 参考訳(メタデータ) (2023-01-28T09:28:55Z) - Improving Bilingual Lexicon Induction with Cross-Encoder Reranking [71.56677929420138]
BLICEr (BLI with Cross-Encoder Re rank) と呼ばれる新しい半教師付きポストホックリグレード法を提案する。
鍵となる考え方は、mPLMから言語間の語彙的知識を抽出し、元のCLWEと組み合わせることである。
BLICErは、多様な言語にまたがる2つの標準BLIベンチマークで、新しい結果を確立している。
論文 参考訳(メタデータ) (2022-10-30T21:26:07Z) - Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence
Encoders [85.80950708769923]
本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。
また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。
標準ベンチマークの大幅な向上を報告します。
論文 参考訳(メタデータ) (2022-04-30T13:23:16Z) - Improving Word Translation via Two-Stage Contrastive Learning [81.07628926443377]
BLIタスクのための頑健で効果的な2段階のコントラスト学習フレームワークを提案する。
多様な言語のための標準BLIデータセットに関する総合的な実験は、我々のフレームワークによって実現された大きな成果を示している。
論文 参考訳(メタデータ) (2022-03-15T22:51:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。