論文の概要: Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement

• arxiv url: http://arxiv.org/abs/2409.06567v1
• Date: Tue, 10 Sep 2024 14:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 17:11:29.989193
• Title: Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement
• Title（参考訳）: 多言語主語-動詞合意による文埋め込みにおける構文情報の探索
• Authors: Vivi Nastase, Chunyang Jiang, Giuseppe Samo, Paola Merlo,
• Abstract要約: 我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。 我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。 多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
• 参考スコア（独自算出の注目度）: 1.4335183427838039
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, our goal is to investigate to what degree multilingual pretrained language models capture cross-linguistically valid abstract linguistic representations. We take the approach of developing curated synthetic data on a large scale, with specific properties, and using them to study sentence representations built using pretrained language models. We use a new multiple-choice task and datasets, Blackbird Language Matrices (BLMs), to focus on a specific grammatical structural phenomenon -- subject-verb agreement across a variety of sentence structures -- in several languages. Finding a solution to this task requires a system detecting complex linguistic patterns and paradigms in text representations. Using a two-level architecture that solves the problem in two steps -- detect syntactic objects and their properties in individual sentences, and find patterns across an input sequence of sentences -- we show that despite having been trained on multilingual texts in a consistent manner, multilingual pretrained language models have language-specific differences, and syntactic structure is not shared, even across closely related languages.
• Abstract（参考訳）: 本稿では,多言語事前学習言語モデルが言語横断的に有効な抽象言語表現をどの程度捉えるかを検討することを目的とする。 本研究では,言語モデルを用いて構築した文表現の研究に,特定の特性を持つ大規模でキュレートされた合成データを開発するアプローチを採っている。 我々は、複数の言語で特定の文法的構造現象(様々な文構造にまたがる主観的合意)に焦点を当てるために、新しい複数選択タスクとデータセット、Blackbird Language Matrices (BLMs)を使用します。 この課題に対する解決策を見つけるには、複雑な言語パターンとテキスト表現のパラダイムを検出するシステムが必要である。 文の入力シーケンスにまたがるパターンを抽出する2段階のアーキテクチャを用いて,多言語テキストを一貫した方法で訓練したにもかかわらず,多言語事前学習言語モデルには言語固有の違いがあり,構文構造は,近縁な言語であっても共有されていないことを示す。

関連論文リスト

• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Multilingual Multi-Figurative Language Detection [14.799109368073548]
  比喩的言語理解は多言語環境では 非常に過小評価されています 我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。 テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:52:41Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• Multilingual AMR-to-Text Generation [22.842874899794996]
  20の異なる言語で生成する多言語AMR-to-textモデルを作成する。 自動メトリクスに基づく18言語の場合、我々の多言語モデルは単一の言語を生成するベースラインを超えます。 我々は、人間の評価を用いて形態や単語の順序を正確に把握する多言語モデルの能力を分析し、母語話者が我々の世代を流動的であると判断する。
  論文  参考訳（メタデータ） (2020-11-10T22:47:14Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。