論文の概要: CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages

• arxiv url: http://arxiv.org/abs/2410.06944v1
• Date: Wed, 9 Oct 2024 14:38:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 23:27:23.552120
• Title: CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages
• Title（参考訳）: CSSL: 相対的に自由な語順と形態素的にリッチな低資源言語に基づく依存構文解析のための対照的な自己教師付き学習
• Authors: Pretam Ray, Jivnesh Sandhan, Amrith Krishna, Pawan Goyal,
• Abstract要約: 本稿では,単語順の変動に頑健なモデルを実現するための,対照的な自己教師型学習手法を提案する。 提案手法は、7つの比較的自由な単語順序言語における3.03/2.95点の平均的な増加を示す。
• 参考スコア（独自算出の注目度）: 10.441585970299547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural dependency parsing has achieved remarkable performance for low resource morphologically rich languages. It has also been well-studied that morphologically rich languages exhibit relatively free word order. This prompts a fundamental investigation: Is there a way to enhance dependency parsing performance, making the model robust to word order variations utilizing the relatively free word order nature of morphologically rich languages? In this work, we examine the robustness of graph-based parsing architectures on 7 relatively free word order languages. We focus on scrutinizing essential modifications such as data augmentation and the removal of position encoding required to adapt these architectures accordingly. To this end, we propose a contrastive self-supervised learning method to make the model robust to word order variations. Furthermore, our proposed modification demonstrates a substantial average gain of 3.03/2.95 points in 7 relatively free word order languages, as measured by the UAS/LAS Score metric when compared to the best performing baseline.
• Abstract（参考訳）: ニューラル依存解析は、低資源形態的にリッチな言語で顕著な性能を達成した。 また、形態学的に豊かな言語が比較的自由な語順を示すこともよく研究されている。 モデルは、形態的にリッチな言語の比較的自由な単語順序の性質を利用して、単語順の変動に頑健になるか? 本研究では、7つの比較的自由な単語順序言語上でのグラフベースの構文解析アーキテクチャの堅牢性について検討する。 本研究は,データ拡張や位置エンコーディングの削除など,重要な変更の精査に重点を置いている。 そこで本研究では,単語順の変動に頑健なモデルを実現するための,対照的な自己教師付き学習手法を提案する。 さらに,提案手法は, UAS/LASスコアの基準値と比較すると, 7つの比較的自由な単語順序言語において, 3.03/2.95ポイントの実質的な増加を示す。

関連論文リスト

• Why do language models perform worse for morphologically complex languages? [0.913127392774573]
  凝集型言語と融合型言語のパフォーマンスギャップを示す新たな証拠が発見された。 この性能ギャップの原因として, トークン化剤の形態的アライメント, トークン化品質, データセットサイズと測定の差異の3つが考えられる。 以上の結果から,言語モデルが形態的類型学に基づいて学習することが困難あるいは容易な言語は存在しないことが示唆された。
  論文  参考訳（メタデータ） (2024-11-21T15:06:51Z)
• Urdu Dependency Parsing and Treebank Development: A Syntactic and Morphological Perspective [0.0]
  依存関係解析を用いて、ウルドゥー語でニュース記事を分析する。 最良ラベル付き精度(LA)は70%,未ラベル付きアタッチメントスコア(UAS)は84%であった。
  論文  参考訳（メタデータ） (2024-06-13T19:30:32Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP [0.0]
  本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。 音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。 以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-18T10:52:48Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning [0.0]
  本稿では,特に訓練データ量に制限のある言語に対して,依存関係解析の2つのアプローチを提案する。 第1のアプローチは、最先端のディープラーニングとルールベースのアプローチを組み合わせ、第2のアプローチは、形態情報をネットワークに組み込む。 提案手法はトルコ語向けに開発されたが、他の言語にも適用可能である。
  論文  参考訳（メタデータ） (2020-02-24T08:34:33Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。