論文の概要: Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2102.00894v1
• Date: Mon, 1 Feb 2021 15:07:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 04:49:14.239773
• Title: Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models
• Title（参考訳）: 多言語lama:多言語事前学習言語モデルにおける知識の検討
• Authors: Nora Kassner, Philipp Dufter, Hinrich Sch\"utze
• Abstract要約: プローブとして「パリは[MASK]の首都」などの仮訳文が用いられる。 確立されたベンチマークTRExとGoogleREを53言語に翻訳する。 mBERTを知識ベースとして使うと、言語によって様々なパフォーマンスが得られることが分かりました。
• 参考スコア（独自算出の注目度）: 6.166295570030645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, it has been found that monolingual English language models can be used as knowledge bases. Instead of structural knowledge base queries, masked sentences such as "Paris is the capital of [MASK]" are used as probes. We translate the established benchmarks TREx and GoogleRE into 53 languages. Working with mBERT, we investigate three questions. (i) Can mBERT be used as a multilingual knowledge base? Most prior work only considers English. Extending research to multiple languages is important for diversity and accessibility. (ii) Is mBERT's performance as knowledge base language-independent or does it vary from language to language? (iii) A multilingual model is trained on more text, e.g., mBERT is trained on 104 Wikipedias. Can mBERT leverage this for better performance? We find that using mBERT as a knowledge base yields varying performance across languages and pooling predictions across languages improves performance. Conversely, mBERT exhibits a language bias; e.g., when queried in Italian, it tends to predict Italy as the country of origin.
• Abstract（参考訳）: 近年,単言語英語モデルが知識ベースとして利用できることが判明している。 構造知識ベースクエリの代わりに,「パリは[MASK]の首都」などのマスキング文がプローブとして使用される。 確立されたベンチマークTRExとGoogleREを53言語に翻訳する。 mBERTを使って3つの質問を調査する。 i) mBERTは多言語知識ベースとして使用できるか? ほとんどの先行研究は英語のみを扱っている。 複数の言語に研究を拡張することは、多様性とアクセシビリティにとって重要である。 (ii) 知識ベース言語非依存としてのmBERTのパフォーマンスは、言語によって異なりますか? (iii) 多言語モデルはより多くのテキストで訓練される。例えば、mBERTは104のウィキペディアで訓練される。 mBERTはこれをより良いパフォーマンスに活用できますか? 知識ベースとしてmBERTを使用することで、言語間でパフォーマンスが変化し、言語間で予測をプールすることでパフォーマンスが向上します。 逆に、mBERTは言語バイアスを示す。例えば、イタリア語で問い合わせた場合、イタリアを起源の国と予測する傾向があります。

関連論文リスト

• Multilingual Knowledge Editing with Language-Agnostic Factual Neurons [98.73585104789217]
  大規模言語モデル(LLM)が多言語事実知識をどのように表すかを検討する。 異なる言語における同じ事実知識は一般的に、言語に依存しない事実ニューロンと呼ばれる共有ニューロンの集合を活性化する。 そこで本研究では,言語非依存のFactual Neurons (LAFN) を探索・修正し,多言語知識を同時に編集する新しいMKE法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:06:56Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
  大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。 近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。 我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
  論文  参考訳（メタデータ） (2024-03-06T16:01:44Z)
• Factual Consistency of Multilingual Pretrained Language Models [0.0]
  多言語言語モデルがモノリンガルモデルよりも一貫性があるかどうかを検討する。 mBERT は英語のパラフレーズで BERT と同程度に矛盾している。 mBERT と XLM-R はどちらも、英語では高い一貫性を示しており、他の45の言語ではさらに矛盾している。
  論文  参考訳（メタデータ） (2022-03-22T09:15:53Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)
• Are All Languages Created Equal in Multilingual BERT? [22.954688396858085]
  104言語で訓練されたMultilingual BERT (mBERT)は、いくつかのNLPタスクにおいて驚くほど優れた言語間性能を示している。 我々は、mBERTが低リソース言語における表現の質に焦点をあて、より広い言語群でどのように機能するかを考察する。
  論文  参考訳（メタデータ） (2020-05-18T21:15:39Z)
• Extending Multilingual BERT to Low-Resource Languages [71.0976635999159]
  M-BERT(M-BERT)は、教師付きおよびゼロショットの言語間移動学習において大きな成功を収めている。 我々は、M-BERTを拡張して、新しい言語に利益をもたらすための、シンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-28T16:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。