論文の概要: Morphosyntactic probing of multilingual BERT models

• arxiv url: http://arxiv.org/abs/2306.06205v1
• Date: Fri, 9 Jun 2023 19:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 20:34:03.607060
• Title: Morphosyntactic probing of multilingual BERT models
• Title（参考訳）: 多言語BERTモデルのモルフォシンタクティックな探索
• Authors: Judit Acs, Endre Hamerlik, Roy Schwartz, Noah A. Smith, Andras Kornai
• Abstract要約: 言語モデルにおける形態情報の多言語探索のための広範囲なデータセットを提案する。 トレーニング済みのTransformerモデル (mBERT と XLM-RoBERTa) では,これらのタスク間で高い性能を実現することができる。
• 参考スコア（独自算出の注目度）: 41.83131308999425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce an extensive dataset for multilingual probing of morphological information in language models (247 tasks across 42 languages from 10 families), each consisting of a sentence with a target word and a morphological tag as the desired label, derived from the Universal Dependencies treebanks. We find that pre-trained Transformer models (mBERT and XLM-RoBERTa) learn features that attain strong performance across these tasks. We then apply two methods to locate, for each probing task, where the disambiguating information resides in the input. The first is a new perturbation method that masks various parts of context; the second is the classical method of Shapley values. The most intriguing finding that emerges is a strong tendency for the preceding context to hold more information relevant to the prediction than the following context.
• Abstract（参考訳）: 言語モデルにおける形態素情報の多言語探索のための広範なデータセット(42言語にわたる10家族から247課題)を導入し、対象語と形態素タグを所望のラベルとする文を共通依存木バンクから導出する。 トレーニング済みのTransformerモデル (mBERT と XLM-RoBERTa) では,これらのタスク間で高い性能を実現することができる。 次に,不明瞭な情報が入力に存在する各探索タスクに対して,2つの方法を適用する。 1つは文脈の様々な部分を隠蔽する新しい摂動法で、2つ目はシェープリー値の古典的な方法である。 出現する最も興味深い発見は、前者の文脈が次の文脈よりも予測に関連するより多くの情報を保持する傾向である。

関連論文リスト

• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation [0.6882042556551609]
  一部のTransformerベースのモデルは、言語間変換学習を実行することができる。 このようなモデルによって構築された文脈化表現のアライメントを評価するための単語レベルタスク非依存手法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:23:18Z)
• OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection [4.111899441919165]
  文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。 我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
  論文  参考訳（メタデータ） (2022-06-07T05:52:43Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Mixed Attention Transformer for LeveragingWord-Level Knowledge to Neural Cross-Lingual Information Retrieval [15.902630454568811]
  本稿では,辞書や翻訳表などの外部単語レベルの知識を取り入れた,MAT(Mixed Attention Transformer)を提案する。 翻訳知識をアテンションマトリックスに符号化することにより、MATを用いたモデルは、入力シーケンス内の相互翻訳された単語にフォーカスすることができる。
  論文  参考訳（メタデータ） (2021-09-07T00:33:14Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks [1.2691047660244335]
  BERT (Bidirectional Representations from Transformers) と ALBERT (A Lite BERT) は、言語モデルの事前学習方法である。 ポルトガルでトレーニングされたBERTとAlbertモデルを利用可能にしています。
  論文  参考訳（メタデータ） (2020-07-19T19:13:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。