論文の概要: Common Sense Beyond English: Evaluating and Improving Multilingual
Language Models for Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2106.06937v1
- Date: Sun, 13 Jun 2021 07:14:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 11:39:47.273376
- Title: Common Sense Beyond English: Evaluating and Improving Multilingual
Language Models for Commonsense Reasoning
- Title(参考訳): Common Sense Beyond English: Commonsense Reasoningのための多言語言語モデルの評価と改善
- Authors: Bill Yuchen Lin, Seyeon Lee, Xiaoyang Qiao, Xiang Ren
- Abstract要約: 本研究の目的は、多言語言語モデル(ML-LM)を評価し、英語以外の常識推論を促進することである。
我々は11言語で561kの文からなるミッキーコーパスを収集し、ML-LMの分析と改善に使用できる。
言語に依存しない探索タスクであるMickey Probeを提案する。
- 参考スコア(独自算出の注目度): 33.34063636400519
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Commonsense reasoning research has so far been limited to English. We aim to
evaluate and improve popular multilingual language models (ML-LMs) to help
advance commonsense reasoning (CSR) beyond English. We collect the Mickey
Corpus, consisting of 561k sentences in 11 different languages, which can be
used for analyzing and improving ML-LMs. We propose Mickey Probe, a
language-agnostic probing task for fairly evaluating the common sense of
popular ML-LMs across different languages. In addition, we also create two new
datasets, X-CSQA and X-CODAH, by translating their English versions to 15 other
languages, so that we can evaluate popular ML-LMs for cross-lingual commonsense
reasoning. To improve the performance beyond English, we propose a simple yet
effective method -- multilingual contrastive pre-training (MCP). It
significantly enhances sentence representations, yielding a large performance
gain on both benchmarks.
- Abstract(参考訳): 常識推論の研究は今のところ英語に限られている。
汎用多言語言語モデル (ml-lms) の評価と改善を行い, 英語以外の共通理解推論 (csr) の推進を支援する。
我々は11言語で561kの文からなるミッキーコーパスを収集し、ML-LMの分析と改善に使用できる。
そこで本研究では,ml-lmの共通性を評価する言語非依存な探索タスクであるmickey probeを提案する。
さらに、英語版を15言語に翻訳することで、X-CSQAとX-CODAHという2つの新しいデータセットを作成し、ML-LMを言語間共通文推論のために評価する。
英語以外の性能を改善するために,多言語コントラスト事前学習(MCP)という,シンプルで効果的な手法を提案する。
文表現を大幅に強化し、両方のベンチマークで大きなパフォーマンス向上をもたらす。
関連論文リスト
- Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T15:15:39Z) - What Linguistic Features and Languages are Important in LLM Translation? [4.888605304379589]
7BのLlama2モデルは、これまでに見たすべての言語に対して10 BLEUスコアを超える。
構文的類似性は、翻訳品質を決定する上で、必ずしも主要な言語要因ではない。
一部の言語は、英語よりも訓練データが少ないにもかかわらず、英語に匹敵する強い相関関係を示している。
論文 参考訳(メタデータ) (2024-02-21T16:32:38Z) - OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large
Language Models [59.54423478596468]
OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。
各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。
具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
論文 参考訳(メタデータ) (2024-02-21T04:42:41Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - MELA: Multilingual Evaluation of Linguistic Acceptability [7.972947286843729]
MELAは、言語受容性に関する最初の多言語ベンチマークであり、10言語をカバーする48Kの判断である。
多言語解釈可能性の追求において, 微調整XLM-Rの重み解析を行った。
言語間およびマルチタスク学習実験は、意味的タスクとは異なり、言語内トレーニングデータが受容性に不可欠であることを示す。
論文 参考訳(メタデータ) (2023-11-15T15:25:28Z) - Translate to Disambiguate: Zero-shot Multilingual Word Sense
Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。
C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。
モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文 参考訳(メタデータ) (2023-04-26T19:55:52Z) - Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence
Encoders [85.80950708769923]
本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。
また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。
標準ベンチマークの大幅な向上を報告します。
論文 参考訳(メタデータ) (2022-04-30T13:23:16Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳(メタデータ) (2021-07-01T18:01:46Z) - X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural
Language Understanding and Question Answering [55.57776147848929]
自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。
我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。
提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
論文 参考訳(メタデータ) (2021-04-20T00:13:35Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。