論文の概要: Improving Korean NLP Tasks with Linguistically Informed Subword
Tokenization and Sub-character Decomposition
- arxiv url: http://arxiv.org/abs/2311.03928v1
- Date: Tue, 7 Nov 2023 12:08:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 15:49:37.358390
- Title: Improving Korean NLP Tasks with Linguistically Informed Subword
Tokenization and Sub-character Decomposition
- Title(参考訳): 代名詞トークン化と副文字分解による韓国語NLPタスクの改善
- Authors: Taehee Jeon, Bongseok Yang, Changhwan Kim, Yoonseob Lim
- Abstract要約: 本稿では, Byte Pairの適用課題に対処するために, サブ文字分解を利用した形態素認識サブワードトークン化手法を提案する。
我々のアプローチは、事前学習言語モデル(PLM)における言語精度と計算効率のバランスをとる
本手法は, NIKL-CoLAの構文的タスクにおいて, 総合的に優れた性能を発揮することを示す。
- 参考スコア(独自算出の注目度): 6.767341847275751
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a morpheme-aware subword tokenization method that utilizes
sub-character decomposition to address the challenges of applying Byte Pair
Encoding (BPE) to Korean, a language characterized by its rich morphology and
unique writing system. Our approach balances linguistic accuracy with
computational efficiency in Pre-trained Language Models (PLMs). Our evaluations
show that this technique achieves good performances overall, notably improving
results in the syntactic task of NIKL-CoLA. This suggests that integrating
morpheme type information can enhance language models' syntactic and semantic
capabilities, indicating that adopting more linguistic insights can further
improve performance beyond standard morphological analysis.
- Abstract(参考訳): 本稿では,韓国語にバイトペア符号化(bpe)を適用する際の課題を解決するために,サブキャラクタ分解を利用した形態素認識サブワードトークン化手法を提案する。
本手法は,事前学習言語モデル(PLM)における言語精度と計算効率のバランスをとる。
本手法は, NIKL-CoLAの構文的タスクにおいて, 総合的に優れた性能を発揮することを示す。
これは、形態素型情報を統合することで言語モデルの構文的・意味的能力を高めることができることを示唆している。
関連論文リスト
- Explicit Morphological Knowledge Improves Pre-training of Language
Models for Hebrew [19.4968960182412]
事前学習フェーズに明示的な形態的知識を組み込むことで、形態学的に豊かな言語に対するPLMの性能を向上させることができるという仮説を考察する。
本研究では, モデルが生テキスト以外の形態的手がかりを活用できるように, 様々な形態的トークン化手法を提案する。
実験により, 形態素によるトークン化は, 標準言語に依存しないトークン化と比較して, 改良された結果を示すことが示された。
論文 参考訳(メタデータ) (2023-11-01T17:02:49Z) - Downstream Task-Oriented Neural Tokenizer Optimization with Vocabulary
Restriction as Post Processing [4.781986758380065]
本稿では,すでに訓練済みの下流モデルの性能向上のために,トークン化を最適化する手法を提案する。
本手法は,語彙制限のためのトレーニングデータに基づいて,与えられた下流モデルの損失値の低いトークン化結果を生成し,トークン化結果を再現するトークン化者を訓練する。
論文 参考訳(メタデータ) (2023-04-21T08:29:14Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-04-11T13:42:10Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳(メタデータ) (2022-11-15T01:13:39Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳(メタデータ) (2022-05-23T16:47:37Z) - Visualizing the Relationship Between Encoded Linguistic Information and
Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。
我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。
実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文 参考訳(メタデータ) (2022-03-29T19:03:10Z) - Morphologically Aware Word-Level Translation [82.59379608647147]
本稿では,バイリンガルレキシコン誘導のための新しい形態素認識確率モデルを提案する。
我々のモデルは、レキセメが意味の鍵となる語彙単位であるという基本的な言語的直観を生かしている。
論文 参考訳(メタデータ) (2020-11-15T17:54:49Z) - Character-level Representations Improve DRS-based Semantic Parsing Even
in the Age of BERT [6.705577865528099]
文字レベルと文脈言語モデル表現を組み合わせて解析性能を向上させる。
英語では、これらの改善は個々の言語情報ソースを追加するよりも大きい。
セマンティックタグに基づく新しい解析手法により,選択したセマンティックな現象のサブセット間で,文字レベルの表現により性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-09T10:24:12Z) - Multilingual Chart-based Constituency Parse Extraction from Pre-trained
Language Models [21.2879567125422]
本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。
本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
論文 参考訳(メタデータ) (2020-04-08T05:42:26Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳(メタデータ) (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。