論文の概要: Beyond Arabic: Software for Perso-Arabic Script Manipulation

• arxiv url: http://arxiv.org/abs/2301.11406v1
• Date: Thu, 26 Jan 2023 20:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 17:17:40.627568
• Title: Beyond Arabic: Software for Perso-Arabic Script Manipulation
• Title（参考訳）: Beyond Arabic: Perso-Arabic Script 操作のためのソフトウェア
• Authors: Alexander Gutkin, Cibu Johny, Raiomond Doctor, Brian Roark, Richard Sproat
• Abstract要約: ペルソ・アラビア文字を使用する言語の書き起こしシステムを操作するための有限状態トランスデューサ(FST)コンポーネントとそれに対応するユーティリティのセットを提供する。 ライブラリはまた、単純なFSTベースのロマン化と文字変換も提供する。
• 参考スコア（独自算出の注目度）: 67.31374614549237
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper presents an open-source software library that provides a set of finite-state transducer (FST) components and corresponding utilities for manipulating the writing systems of languages that use the Perso-Arabic script. The operations include various levels of script normalization, including visual invariance-preserving operations that subsume and go beyond the standard Unicode normalization forms, as well as transformations that modify the visual appearance of characters in accordance with the regional orthographies for eleven contemporary languages from diverse language families. The library also provides simple FST-based romanization and transliteration. We additionally attempt to formalize the typology of Perso-Arabic characters by providing one-to-many mappings from Unicode code points to the languages that use them. While our work focuses on the Arabic script diaspora rather than Arabic itself, this approach could be adopted for any language that uses the Arabic script, thus providing a unified framework for treating a script family used by close to a billion people.
• Abstract（参考訳）: 本稿では,Perso-Arabicスクリプトを用いた言語記述システムを操作するための有限状態トランスデューサ(FST)コンポーネントセットと,それに対応するユーティリティを提供するオープンソースソフトウェアライブラリを提案する。 この操作には、標準のunicode正規化形式を超えた視覚的な不変性保存操作や、様々な言語からの11の現代言語の地域的正書法に従って文字の視覚的外観を変更する変換など、様々なレベルのスクリプト正規化が含まれている。 ライブラリはまた、単純なFSTベースのロマン化と文字変換も提供する。 さらに、Unicodeコードポイントからそれらを使用する言語への一対多マッピングを提供することにより、ペルソ・アラビア文字の類型化を試みる。 我々の研究はアラビア語そのものではなくアラビア語の文字であるディアスポラに焦点を当てているが、このアプローチはアラビア語の文字を使用する言語で採用される可能性がある。

関連論文リスト

• Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts [50.40191599304911]
  非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも効果があるか検討する。 本稿では,(1) の原文,(2) ラテン文字,(3) の両文を対象とする3つのプロンプトテンプレートを提案する。 本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-02T14:51:20Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving [61.73180469072787]
  インド語から英語のテキストへのコード変更音声の音声翻訳(ST)の問題に焦点をあてる。 本稿では、事前訓練された自動音声認識(ASR)と機械翻訳(MT)モジュールを足場として、新しいエンドツーエンドモデルアーキテクチャCOSTAを提案する。 COSTAは、多くの競合するカスケードおよびエンドツーエンドのマルチモーダルベースラインを3.5BLEUポイントまで上回っている。
  論文  参考訳（メタデータ） (2024-06-16T16:10:51Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• Unicode Normalization and Grapheme Parsing of Indic Languages [2.974799610163104]
  インド語の表記体系は、一意の水平単位として、複素グラフエム(complex graphemes)としても知られる正書法音節を持つ。 提案した正規化器は、以前使用したIndic normalizerよりも効率的で効果的なツールである。 本研究では,7言語スクリプトのパイプラインを報告し,さらに多くのスクリプトを統合するためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-11T14:34:08Z)
• PALI: A Language Identification Benchmark for Perso-Arabic Scripts [30.99179028187252]
  本稿ではペルソ・アラビア文字を用いた言語検出の課題について述べる。 文を言語に分類するために、教師付きテクニックのセットを使用します。 また,しばしば混同される言語群を対象とする階層モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-03T19:40:14Z)
• New Results for the Text Recognition of Arabic Maghrib{\=i} Manuscripts -- Managing an Under-resourced Script [0.0]
  アラビア文字Maghrib=iスクリプト専用のHTRモデル開発および微調整のための新しいモードオペラーディを導入・評価する。 いくつかの最先端のHTRモデルの比較は、アラビア語に特化した単語ベースのニューラルアプローチの関連性を示している。 その結果、アラビア文字処理のための新しい視点が開かれ、より一般的には、貧弱な言語処理のためのものである。
  論文  参考訳（メタデータ） (2022-11-29T12:21:41Z)
• Graphemic Normalization of the Perso-Arabic Script [47.429213930688086]
  本稿では,ペルソ・アラビア語が最良文書言語を超えて提示する課題について述べる。 自然言語処理(NLP)の状況に注目する。 ペルソ・アラビア文字ディアスポラの多言語語族8言語に対する正規化が機械翻訳および統計言語モデリングタスクに及ぼす影響を評価する。
  論文  参考訳（メタデータ） (2022-10-21T21:59:44Z)
• TArC: Incrementally and Semi-Automatically Collecting a Tunisian Arabish Corpus [3.8580784887142774]
  本稿では,第1次チュニジア・アラブ人コーパス(TArC)の構成過程について述べる。 アラビア語(アラビア語: Arabizi)は、アラビア語の方言をラテン文字とアリスモグラフ(文字として使われる数字)で自発的に符号化したものである。
  論文  参考訳（メタデータ） (2020-03-20T22:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。