論文の概要: A Morphology-Based Investigation of Positional Encodings

• arxiv url: http://arxiv.org/abs/2404.04530v2
• Date: Thu, 30 May 2024 14:44:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 20:25:21.205576
• Title: A Morphology-Based Investigation of Positional Encodings
• Title（参考訳）: 形態素に基づく位置符号化の検討
• Authors: Poulami Ghosh, Shikhar Vashishth, Raj Dabre, Pushpak Bhattacharyya,
• Abstract要約: 形態と語順は密接に結びついており、後者は位置符号化によってトランスフォーマーモデルに組み込まれている。 言語の形態的複雑さと、事前訓練された言語モデルにおける位置エンコーディングの利用との間には相関があるのだろうか? 本研究は,22の言語と5の下流タスクを対象とする,この問題に対処する最初の研究である。
• 参考スコア（独自算出の注目度）: 46.667985003225496
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contemporary deep learning models effectively handle languages with diverse morphology despite not being directly integrated into them. Morphology and word order are closely linked, with the latter incorporated into transformer-based models through positional encodings. This prompts a fundamental inquiry: Is there a correlation between the morphological complexity of a language and the utilization of positional encoding in pre-trained language models? In pursuit of an answer, we present the first study addressing this question, encompassing 22 languages and 5 downstream tasks. Our findings reveal that the importance of positional encoding diminishes with increasing morphological complexity in languages. Our study motivates the need for a deeper understanding of positional encoding, augmenting them to better reflect the different languages under consideration.
• Abstract（参考訳）: 現代のディープラーニングモデルは、直接統合されていないにもかかわらず、様々な形態を持つ言語を効果的に扱う。 形態と語順は密接に結びついており、後者は位置符号化によってトランスフォーマーモデルに組み込まれている。 言語の形態的複雑さと、事前訓練された言語モデルにおける位置エンコーディングの利用との間には相関があるのだろうか? 本研究は,22の言語と5の下流タスクを対象とする,この問題に対処する最初の研究である。 その結果,言語の形態的複雑さの増大に伴い,位置符号化の重要性が低下することが判明した。 本研究は、位置符号化のより深い理解の必要性を動機とし、検討中の言語をよりよく反映させるものである。

関連論文リスト

• On the Role of Morphological Information for Contextual Lemmatization [7.106986689736827]
  6言語における文脈補間器の開発における形態情報の役割について検討する。 バスク語、トルコ語、ロシア語、チェコ語、スペイン語、英語。 実験により、ドメイン外で最高のレマタイザは、単純な UPOS タグを使ったものか、形態学なしで訓練されたものであることが示唆されている。
  論文  参考訳（メタデータ） (2023-02-01T12:47:09Z)
• UniMorph 4.0: Universal Morphology [104.69846084893298]
  本稿は,過去2年間のいくつかの前線における展開と改善について述べる。 多くの言語学者による共同作業により、30の絶滅危惧言語を含む67の新しい言語が追加された。 前回のUniMorphリリースに合わせて,16言語で形態素セグメンテーションを施したデータベースも拡張した。
  論文  参考訳（メタデータ） (2022-05-07T09:19:02Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Morphological Processing of Low-Resource Languages: Where We Are and What's Next [23.7371787793763]
  注釈付きリソースが最小か全くない言語に適したアプローチに焦点を合わせます。 我々は、言語の形態を原文だけで理解する、論理的な次の課題に取り組む準備が整っていると論じる。
  論文  参考訳（メタデータ） (2022-03-16T19:47:04Z)
• Morphology Without Borders: Clause-Level Morphological Annotation [8.559428282730021]
  形態学を単語レベルではなく節レベルの現象と考えることを提案する。 我々は,英語,ドイツ語,トルコ語,ヘブライ語という4つの類型的に異なる言語を対象として,節レベルの形態に関する新しいデータセットを提供する。 実験の結果,節レベルタスクは各単語レベルタスクよりも格段に難しいが,言語間では同等に複雑であることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T17:20:28Z)
• The Impact of Positional Encodings on Multilingual Compression [3.454503173118508]
  元のトランスアーキテクチャで使われる正弦波の位置エンコーディングに対して、いくつかの修正が提案されている。 まず、これらの修正はモノリンガル言語モデルを改善する傾向にあるが、いずれの修正もより良いマルチリンガル言語モデルをもたらすものではないことを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:22:50Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)
• Cross-lingual, Character-Level Neural Morphological Tagging [57.0020906265213]
  文字レベルのリカレントなニューラルタグをトレーニングし、高リソース言語と低リソース言語を併用して形態的タグ付けを予測する。 複数の関連言語間の共同文字表現の学習は、高リソース言語から低リソース言語への知識伝達を成功させ、モノリンガルモデルの精度を最大30%向上させる。
  論文  参考訳（メタデータ） (2017-08-30T08:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。