Fugu-MT 論文翻訳(概要): Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning

論文の概要: Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning

arxiv url: http://arxiv.org/abs/2106.06937v1
Date: Sun, 13 Jun 2021 07:14:03 GMT
ステータス: 処理完了
システム内更新日: 2021-06-17 11:39:47.273376
Title: Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning
Title（参考訳）: Common Sense Beyond English: Commonsense Reasoningのための多言語言語モデルの評価と改善
Authors: Bill Yuchen Lin, Seyeon Lee, Xiaoyang Qiao, Xiang Ren
Abstract要約: 本研究の目的は、多言語言語モデル(ML-LM)を評価し、英語以外の常識推論を促進することである。我々は11言語で561kの文からなるミッキーコーパスを収集し、ML-LMの分析と改善に使用できる。言語に依存しない探索タスクであるMickey Probeを提案する。
参考スコア（独自算出の注目度）: 33.34063636400519
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Commonsense reasoning research has so far been limited to English. We aim to evaluate and improve popular multilingual language models (ML-LMs) to help advance commonsense reasoning (CSR) beyond English. We collect the Mickey Corpus, consisting of 561k sentences in 11 different languages, which can be used for analyzing and improving ML-LMs. We propose Mickey Probe, a language-agnostic probing task for fairly evaluating the common sense of popular ML-LMs across different languages. In addition, we also create two new datasets, X-CSQA and X-CODAH, by translating their English versions to 15 other languages, so that we can evaluate popular ML-LMs for cross-lingual commonsense reasoning. To improve the performance beyond English, we propose a simple yet effective method -- multilingual contrastive pre-training (MCP). It significantly enhances sentence representations, yielding a large performance gain on both benchmarks.
Abstract（参考訳）: 常識推論の研究は今のところ英語に限られている。汎用多言語言語モデル (ml-lms) の評価と改善を行い, 英語以外の共通理解推論 (csr) の推進を支援する。我々は11言語で561kの文からなるミッキーコーパスを収集し、ML-LMの分析と改善に使用できる。そこで本研究では,ml-lmの共通性を評価する言語非依存な探索タスクであるmickey probeを提案する。さらに、英語版を15言語に翻訳することで、X-CSQAとX-CODAHという2つの新しいデータセットを作成し、ML-LMを言語間共通文推論のために評価する。英語以外の性能を改善するために,多言語コントラスト事前学習(MCP)という,シンプルで効果的な手法を提案する。文表現を大幅に強化し、両方のベンチマークで大きなパフォーマンス向上をもたらす。

関連論文リスト

Improving Bilingual Capabilities of Language Models to Support Diverse Linguistic Practices in Education [3.799331337558008]
大規模言語モデル(LLM)は、教育コンテンツの生成、インストラクターのフィードバックの提供、アセスメントにおける教師の作業量の削減を約束する。本研究では,多言語大言語モデル(MLLM)がモノリンガル(英語のみ,スペイン語のみ)とバイリンガル(スパングリッシュ)にまたがって有効であることを示す。
論文参考訳（メタデータ） (2024-11-06T23:16:25Z)
Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
論文参考訳（メタデータ） (2024-11-02T05:10:50Z)
Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense [30.62699081329474]
本稿では,言語間感覚曖昧化のための新しいベンチマーク,StingrayBenchを紹介する。インドネシア語とマレー語、インドネシア語とタガログ語、中国語と日本語、英語とドイツ語の4つの言語ペアで偽の友人を集めます。各種モデルの解析において,高リソース言語に偏りが生じる傾向が見られた。
論文参考訳（メタデータ） (2024-10-28T22:09:43Z)
Do Large Language Models Have an English Accent? Evaluating and Improving the Naturalness of Multilingual LLMs [13.558778781305998]
大規模言語モデル (LLM) は主に英語を基本言語として設計されている。多言語である少数の人々でさえ、強い英語中心の偏見を示す傾向がある。本稿では,多言語出力の語彙的および構文的自然性を評価するための新しい自動コーパスレベル指標を提案する。
論文参考訳（メタデータ） (2024-10-21T12:34:17Z)
Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文参考訳（メタデータ） (2024-06-28T17:03:51Z)
Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
論文参考訳（メタデータ） (2024-06-23T15:15:17Z)
Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
論文参考訳（メタデータ） (2024-03-15T12:47:39Z)
Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文参考訳（メタデータ） (2023-12-26T18:38:54Z)
Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文参考訳（メタデータ） (2023-04-26T19:55:52Z)
A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。本報告では,MLLMに関する研究分野について概説する。
論文参考訳（メタデータ） (2021-07-01T18:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。