論文の概要: CharSS: Character-Level Transformer Model for Sanskrit Word Segmentation

• arxiv url: http://arxiv.org/abs/2407.06331v1
• Date: Mon, 8 Jul 2024 18:50:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-10 22:03:20.920241
• Title: CharSS: Character-Level Transformer Model for Sanskrit Word Segmentation
• Title（参考訳）: CharSS:サンスクリット単語分割のための文字レベル変換器モデル
• Authors: Krishnakant Bhatt, Karthika N J, Ganesh Ramakrishnan, Preethi Jyothi,
• Abstract要約: インド語のサブワードトークンは本質的に意味を持ち、それらを分離することでNLPタスクを強化することができる。 我々はサンスクリット語(CharSS)の文字レベル変換モデルを利用する新しい手法を提案する。 提案手法の性能を既存手法と比較するために,3つのベンチマークデータセットを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 39.08623113730563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subword tokens in Indian languages inherently carry meaning, and isolating them can enhance NLP tasks, making sub-word segmentation a crucial process. Segmenting Sanskrit and other Indian languages into subtokens is not straightforward, as it may include sandhi, which may lead to changes in the word boundaries. We propose a new approach of utilizing a Character-level Transformer model for Sanskrit Word Segmentation (CharSS). We perform experiments on three benchmark datasets to compare the performance of our method against existing methods. On the UoH+SandhiKosh dataset, our method outperforms the current state-of-the-art system by an absolute gain of 6.72 points in split prediction accuracy. On the hackathon dataset, our method achieves a gain of 2.27 points over the current SOTA system in terms of perfect match metric. We also propose a use-case of Sanskrit-based segments for a linguistically informed translation of technical terms to lexically similar low-resource Indian languages. In two separate experimental settings for this task, we achieve an average improvement of 8.46 and 6.79 chrF++ scores, respectively.
• Abstract（参考訳）: インド語のサブワードトークンは本質的に意味を持ち、それらを分離することでNLPタスクが強化され、サブワードセグメンテーションが重要なプロセスとなる。 サンスクリットや他のインドの言語をサブトーケンに分割するのは簡単ではない。 本研究では,サンスクリット単語セグメンテーション(CharSS)の文字レベル変換モデルを利用する新しい手法を提案する。 提案手法の性能を既存手法と比較するために,3つのベンチマークデータセットを用いて実験を行った。 UoH+SandhiKoshデータセットにおいて,本手法は分割予測精度6.72点の絶対ゲインにより現在の最先端システムより優れる。 ハッカソンデータセットでは,提案手法は完全一致距離の点で現在のSOTAシステムよりも2.27ポイント向上する。 また、語彙的に類似した低リソースのインド言語への技術的用語の言語情報翻訳のためのサンスクリットに基づくセグメントの使用法を提案する。 このタスクのための2つの実験的な設定では、それぞれ平均8.46と6.79のchrF++スコアを達成している。

関連論文リスト

• Splintering Nonconcatenative Languages for Better Tokenization [4.496923806879088]
  本稿では,テキストを線形形式に再構成する前処理ステップであるSPLINTERを提案する。 我々は、ヘブライ語、アラビア語、マレー語におけるトークン語彙を評価する本質的な尺度を用いて、そのメリットを実証する。
  論文  参考訳（メタデータ） (2025-03-18T17:11:09Z)
• Lexically Grounded Subword Segmentation [0.0]
  トークン化とサブワードセグメンテーションの3つの革新を提示する。 まず,Morfessorを用いた教師なし形態素解析を事前学習に用いることを提案する。 第二に、単語埋め込み空間に接地したサブワード埋め込みを得る方法を提案する。 第3に,単語ビッグラムモデルに基づく効率的なセグメンテーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-19T13:48:19Z)
• Character-level NMT and language similarity [1.90365714903665]
  チェコ語とクロアチア語、ドイツ語、ハンガリー語、スロバキア語、スペイン語の翻訳における言語類似度およびトレーニングデータセットのサイズに対する文字レベルのニューラルマシン翻訳の有効性について検討した。 MT自動測定値を用いてモデルの評価を行い、類似言語間の翻訳が文字レベルの入力セグメンテーションの恩恵を受けることを示す。 我々は、すでに訓練済みのサブワードレベルのモデルを文字レベルに微調整することで、ギャップを埋めることが可能である、という以前の知見を確認した。
  論文  参考訳（メタデータ） (2023-08-08T17:01:42Z)
• Where's the Point? Self-Supervised Multilingual Punctuation-Agnostic Sentence Segmentation [65.6736056006381]
  85言語を対象とした多言語句読解文セグメンテーション法を提案する。 提案手法は,従来の最良文分割ツールを平均6.1%F1ポイントで上回っている。 MTモデルの訓練に使用するセグメンテーションと文のセグメンテーションを一致させる手法を用いて,平均2.3BLEU点の改善を実現する。
  論文  参考訳（メタデータ） (2023-05-30T09:49:42Z)
• TransLIST: A Transformer-Based Linguistically Informed Sanskrit Tokenizer [11.608920658638976]
  サンスクリットワードアルゴリズム(SWS)は、デジタル化されたテキストを利用できるようにし、下流のタスクをデプロイするのに不可欠である。 我々はTransLIST(Transformer based Linguistically Informed Sanskrit Tokenizer)を提案する。 TransLISTは、SWS特有のサンディー現象を考慮した潜在単語情報と共に文字入力を符号化する。
  論文  参考訳（メタデータ） (2022-10-21T06:15:40Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Multi-view Subword Regularization [111.04350390045705]
  マルチビューサブワード正規化(MVR)は、標準でトークン化された入力と確率的セグメンテーションとの整合性を強制する手法です。 XTREMEマルチ言語ベンチマークの結果は、MVRが標準セグメンテーションアルゴリズムよりも最大2.5ポイントの一貫性のある改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2021-03-15T16:07:42Z)
• 2kenize: Tying Subword Sequences for Chinese Script Conversion [54.33749520569979]
  本稿では,2つのスクリプト間のマッピングと変換をあいまいにできるモデルを提案する。 提案手法は,従来の漢字変換手法よりも精度が6ポイント向上した。
  論文  参考訳（メタデータ） (2020-05-07T10:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。