論文の概要: Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities

• arxiv url: http://arxiv.org/abs/2305.16407v1
• Date: Thu, 25 May 2023 18:18:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 18:35:47.541675
• Title: Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities
• Title（参考訳）: バイリンガルコミュニティにおける非ソース言語の非慣習的記述のためのスクリプト正規化
• Authors: Sina Ahmadi and Antonios Anastasopoulos
• Abstract要約: ソーシャルメディアは言語的に表現されていないコミュニティに、彼らの母国語でコンテンツを制作する素晴らしい機会を与えてきた。 本稿では、主にペルソ・アラビア文字で書かれたいくつかの言語に対するスクリプト正規化の問題に対処する。 各種ノイズレベルの合成データと変圧器モデルを用いて, この問題を効果的に再現できることを実証した。
• 参考スコア（独自算出の注目度）: 36.578851892373365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The wide accessibility of social media has provided linguistically under-represented communities with an extraordinary opportunity to create content in their native languages. This, however, comes with certain challenges in script normalization, particularly where the speakers of a language in a bilingual community rely on another script or orthography to write their native language. This paper addresses the problem of script normalization for several such languages that are mainly written in a Perso-Arabic script. Using synthetic data with various levels of noise and a transformer-based model, we demonstrate that the problem can be effectively remediated. We conduct a small-scale evaluation of real data as well. Our experiments indicate that script normalization is also beneficial to improve the performance of downstream tasks such as machine translation and language identification.
• Abstract（参考訳）: ソーシャルメディアの幅広いアクセシビリティは、言語的に過小評価されたコミュニティに、彼らの母国語でコンテンツを作る特別な機会を与えてきた。 しかし、これはスクリプトの正規化におけるある種の課題、特にバイリンガルコミュニティの言語話者がネイティブ言語を書くために別のスクリプトや正書法に依存する場合である。 本稿では、主にペルソ・アラビア文字で書かれたいくつかの言語に対するスクリプト正規化の問題に対処する。 各種ノイズレベルの合成データと変圧器モデルを用いて, この問題を効果的に再現できることを実証した。 また,実データについても小規模評価を行っている。 実験の結果,スクリプトの正規化は,機械翻訳や言語識別などの下流タスクの性能向上にも有用であることが示唆された。

関連論文リスト

• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Script-Agnostic Language Identification [21.19710835737713]
  コンカニ語、カシミリ語、パンジャービ語などの現代語は、複数の文字で同期的に書かれている。 いくつかの異なる実験手法を用いて,スクリプトに依存しない表現の学習を提案する。 単語レベルのスクリプトランダム化と複数のスクリプトで書かれた言語への露出は、下流のスクリプトに依存しない言語識別に非常に有用である。
  論文  参考訳（メタデータ） (2024-06-25T19:23:42Z)
• Share What You Already Know: Cross-Language-Script Transfer and Alignment for Sentiment Detection in Code-Mixed Data [0.0]
  コードスイッチングには複数の言語が混在しており、ソーシャルメディアのテキストでますます発生してきている現象である。 事前訓練された多言語モデルは、主に言語のネイティブスクリプトのデータを利用する。 各言語でネイティブスクリプトを使用すると、事前訓練された知識のため、テキストのより良い表現が生成される。
  論文  参考訳（メタデータ） (2024-02-07T02:59:18Z)
• Cross-Lingual Transfer from Related Languages: Treating Low-Resource Maltese as Multilingual Code-Switching [9.435669487585917]
  我々は、アラビア語、イタリア語、英語からかなりの影響を受け、特にラテン語の文字で書かれたマルタ語に焦点を当てている。 単語レベルの語源を付加した新しいデータセットを提案する。 単語の語源に基づく条件翻訳は,非選択的なパイプラインで処理されたマルタ語やマルタ語による微調整よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-30T11:04:36Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• PALI: A Language Identification Benchmark for Perso-Arabic Scripts [30.99179028187252]
  本稿ではペルソ・アラビア文字を用いた言語検出の課題について述べる。 文を言語に分類するために、教師付きテクニックのセットを使用します。 また,しばしば混同される言語群を対象とする階層モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-03T19:40:14Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。