論文の概要: Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2411.07474v1
• Date: Tue, 12 Nov 2024 01:26:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:18.610020
• Title: Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models
• Title（参考訳）: 多言語言語モデルにおける構文知識の制御による評価
• Authors: Daria Kryvosheieva, Roger Levy,
• Abstract要約: 本研究では,3つの低リソース言語を対象とした構文評価試験を開発した。 オープンアクセス型多言語トランスフォーマーLMの5つのファミリーを評価する。 いくつかの構文的タスクは、LMにとって比較的容易であるのに対して、他のタスクは困難である。
• 参考スコア（独自算出の注目度）: 16.414150004715367
• License:
• Abstract: Language models (LMs) are capable of acquiring elements of human-like syntactic knowledge. Targeted syntactic evaluation tests have been employed to measure how well they form generalizations about syntactic phenomena in high-resource languages such as English. However, we still lack a thorough understanding of LMs' capacity for syntactic generalizations in low-resource languages, which are responsible for much of the diversity of syntactic patterns worldwide. In this study, we develop targeted syntactic evaluation tests for three low-resource languages (Basque, Hindi, and Swahili) and use them to evaluate five families of open-access multilingual Transformer LMs. We find that some syntactic tasks prove relatively easy for LMs while others (agreement in sentences containing indirect objects in Basque, agreement across a prepositional phrase in Swahili) are challenging. We additionally uncover issues with publicly available Transformers, including a bias toward the habitual aspect in Hindi in multilingual BERT and underperformance compared to similar-sized models in XGLM-4.5B.
• Abstract（参考訳）: 言語モデル(LM)は、人間に似た構文知識の要素を取得することができる。 英語などの高資源言語における構文現象に関する一般化をいかにうまく形成するかを測定するために, 目標構文評価試験が用いられている。 しかし、世界規模の構文パターンの多様性の多くを担っている低リソース言語における構文一般化のためのLMの能力について、まだ十分に理解されていない。 本研究では,3つの低リソース言語(バスク語,ヒンディー語,スワヒリ語)を対象とした構文評価テストを開発し,オープンアクセス型多言語トランスフォーマーLMの5つのファミリーを評価する。 いくつかの構文的タスクは、LMにとって比較的容易であるのに対して、他のタスク(バスク語では間接的な対象を含む文、スワヒリ語では前置詞句間での合意)は困難である。 また、多言語BERTにおけるヒンディー語の習慣的側面への偏りや、XGLM-4.5Bの類似サイズのモデルと比較して性能の低下など、一般に利用可能なトランスフォーマーの問題も明らかにした。

関連論文リスト

• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
  本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。 言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。 本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:50:51Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Assessing the Syntactic Capabilities of Transformer-based Multilingual Language Models [4.590895888766304]
  BERTとRoBERTaのモノリンガル版と多言語版のシンタクティック一般化機能を探ります。 具体的には、英語およびスペイン語テストにおけるモデルのシンタクティック一般化の可能性を評価します。 英語では、利用可能なシンタックスジムテストスイートを使用します。スペイン語では、スペイン語でターゲットとなるシンタックスジムテストの新しいアンサンブルであるシンタックスジムを紹介します。
  論文  参考訳（メタデータ） (2021-05-10T22:06:53Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Finding Universal Grammatical Relations in Multilingual BERT [47.74015366712623]
  mBERT表現のサブスペースは、英語以外の言語で構文木の距離を回復することを示す。 我々は,mBERTが構文依存ラベルの表現を学習する証拠を提供する教師なし解析手法を提案する。
  論文  参考訳（メタデータ） (2020-05-09T20:46:02Z)
• Cross-Linguistic Syntactic Evaluation of Word Prediction Models [25.39896327641704]
  本稿では,ニューラルワード予測モデルの文法学習能力が言語によってどう異なるかを検討する。 CLAMSには、英語、フランス語、ドイツ語、ヘブライ語、ロシア語のサブバーブ協定の課題セットが含まれている。 CLAMSを用いてLSTM言語モデルと単言語および多言語BERTの評価を行う。
  論文  参考訳（メタデータ） (2020-05-01T02:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。