論文の概要: On Bilingual Lexicon Induction with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.13995v2
• Date: Sun, 25 Feb 2024 22:34:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 19:09:55.373115
• Title: On Bilingual Lexicon Induction with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたバイリンガル語彙誘導について
• Authors: Yaoyiran Li, Anna Korhonen, Ivan Vuli\'c
• Abstract要約: 本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。 本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。 私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
• 参考スコア（独自算出の注目度）: 81.6546357879259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bilingual Lexicon Induction (BLI) is a core task in multilingual NLP that still, to a large extent, relies on calculating cross-lingual word representations. Inspired by the global paradigm shift in NLP towards Large Language Models (LLMs), we examine the potential of the latest generation of LLMs for the development of bilingual lexicons. We ask the following research question: Is it possible to prompt and fine-tune multilingual LLMs (mLLMs) for BLI, and how does this approach compare against and complement current BLI approaches? To this end, we systematically study 1) zero-shot prompting for unsupervised BLI and 2) few-shot in-context prompting with a set of seed translation pairs, both without any LLM fine-tuning, as well as 3) standard BLI-oriented fine-tuning of smaller LLMs. We experiment with 18 open-source text-to-text mLLMs of different sizes (from 0.3B to 13B parameters) on two standard BLI benchmarks covering a range of typologically diverse languages. Our work is the first to demonstrate strong BLI capabilities of text-to-text mLLMs. The results reveal that few-shot prompting with in-context examples from nearest neighbours achieves the best performance, establishing new state-of-the-art BLI scores for many language pairs. We also conduct a series of in-depth analyses and ablation studies, providing more insights on BLI with (m)LLMs, also along with their limitations.
• Abstract（参考訳）: バイリンガル辞書誘導(BLI)は、多言語NLPの中核的なタスクであり、依然として言語間単語表現の計算に大きく依存している。 NLPのLarge Language Models(LLMs)へのパラダイムシフトに着想を得て,両言語レキシコンの開発に向けた次世代LLMの可能性を検討する。 bliのための多言語llm(mllms)を迅速かつ微調整することは可能か、このアプローチは現在のbliアプローチとどのように比較し補完するか? この目的のために 体系的に研究し 1)非監督的BLIとゼロショットプロンプト 2)llmを微調整することなく,一組のシード翻訳ペアでプロンプトする数発のインコンテキスト 3) 小型LLMの標準BLI微調整 異なるサイズ(0.3Bから13Bパラメータ)の18個のオープンソーステキスト・テキスト・テキストmLLMを2つの標準BLIベンチマークで実験した。 私たちの仕事は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。 その結果,近辺からの文脈内サンプルによる撮影は,多くの言語ペアに対して,最先端のBLIスコアを新たに確立し,最高のパフォーマンスを得ることができた。 また,BLIと(m)LLMを併用した深部分析およびアブレーション研究も実施し,その限界についても考察した。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Self-Augmented In-Context Learning for Unsupervised Word Translation [23.495503962839337]
  大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。 教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。 提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-15T15:43:05Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• ProMap: Effective Bilingual Lexicon Induction via Language Model Prompting [22.743097175747575]
  バイリンガル誘導(BLI)の新しいアプローチであるProMapを紹介する。 ProMapは、言語モデルの効果的なパッドドプロンプトと、独立して使用する場合に優れたパフォーマンスを実現するシード辞書に依存している。 リッチ・ソース言語とロー・ソース言語の両方で評価すると、ProMapは一貫して最先端の結果が得られます。
  論文  参考訳（メタデータ） (2023-10-28T18:33:24Z)
• When your Cousin has the Right Connections: Unsupervised Bilingual Lexicon Induction for Related Data-Imbalanced Languages [29.346191691508125]
  非教師付きバイリンガルレキシコン誘導は、大規模なデータセットが利用できない低リソース言語にとって最も有用である。 文献における最先端のBLI手法は,データ不均衡な言語ペアに対してほぼゼロに近い性能を示す。 本稿では,関連するLRLとHRLの間には,HRLのマスキング言語モデルに対してのみ推論を必要とする,教師なしBLIの新たな手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:49:21Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Improving Bilingual Lexicon Induction with Cross-Encoder Reranking [31.142790337451366]
  BLICEr (BLI with Cross-Encoder Re rank) と呼ばれる新しい半教師付きポストホックリグレード法を提案する。 鍵となる考え方は、mPLMから言語間の語彙的知識を抽出し、元のCLWEと組み合わせることである。 BLICErは、多様な言語にまたがる2つの標準BLIベンチマークで、新しい結果を確立している。
  論文  参考訳（メタデータ） (2022-10-30T21:26:07Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Improving Word Translation via Two-Stage Contrastive Learning [46.71404992627519]
  BLIタスクのための頑健で効果的な2段階のコントラスト学習フレームワークを提案する。 多様な言語のための標準BLIデータセットに関する総合的な実験は、我々のフレームワークによって実現された大きな成果を示している。
  論文  参考訳（メタデータ） (2022-03-15T22:51:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。