論文の概要: Exploiting Dialect Identification in Automatic Dialectal Text Normalization

• arxiv url: http://arxiv.org/abs/2407.03020v1
• Date: Wed, 3 Jul 2024 11:30:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:35:46.908843
• Title: Exploiting Dialect Identification in Automatic Dialectal Text Normalization
• Title（参考訳）: 自動辞書テキスト正規化における爆発的辞書識別
• Authors: Bashar Alhafni, Sarah Al-Towaity, Ziyad Fawzy, Fatema Nassar, Fadhl Eryani, Houda Bouamor, Nizar Habash,
• Abstract要約: 我々は、方言アラビア語を標準オーソグラフィー(CODA)に標準化することを目指している。 我々はCODAフィケーションのタスクに基づいて,新たに開発されたシーケンス・ツー・シーケンスのモデルをベンチマークした。 方言識別情報を使用することで,すべての方言のパフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 9.320305816520422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialectal Arabic is the primary spoken language used by native Arabic speakers in daily communication. The rise of social media platforms has notably expanded its use as a written language. However, Arabic dialects do not have standard orthographies. This, combined with the inherent noise in user-generated content on social media, presents a major challenge to NLP applications dealing with Dialectal Arabic. In this paper, we explore and report on the task of CODAfication, which aims to normalize Dialectal Arabic into the Conventional Orthography for Dialectal Arabic (CODA). We work with a unique parallel corpus of multiple Arabic dialects focusing on five major city dialects. We benchmark newly developed pretrained sequence-to-sequence models on the task of CODAfication. We further show that using dialect identification information improves the performance across all dialects. We make our code, data, and pretrained models publicly available.
• Abstract（参考訳）: アラビア語は、アラビア語話者が日常のコミュニケーションで使用する主要な言語である。 ソーシャルメディアプラットフォームが台頭し、文字言語としての利用が拡大した。 しかし、アラビア語の方言は標準的な正書法を持っていない。 これは、ソーシャルメディア上のユーザー生成コンテンツに固有のノイズと組み合わさって、ディレクタルアラビア語を扱うNLPアプリケーションにとって大きな課題となる。 本稿では,方言アラビアの標準オーソグラフィー(CODA)への正規化を目的としたCODAficationの課題について検討・報告する。 我々は5つの主要都市方言に焦点を当てた複数のアラビア方言の独自の平行コーパスで作業している。 我々は,CODAfication のタスク上で,事前訓練されたシーケンス・ツー・シーケンスのモデルをベンチマークした。 さらに、方言識別情報を使用することで、すべての方言のパフォーマンスが向上することを示す。 コード、データ、事前訓練されたモデルを公開しています。

関連論文リスト

• AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs [22.121471902726892]
  本稿ではアラビア方言と文化評価のベンチマークであるAraDiCEを紹介する。 湾岸地域、エジプト地域、レバント地域の文化意識を評価するために設計された最初のきめ細かいベンチマーク。 本研究で検証した方言翻訳モデルとベンチマークをリリースする。
  論文  参考訳（メタデータ） (2024-09-17T17:59:25Z)
• Voices Unheard: NLP Resources and Models for Yorùbá Regional Dialects [72.18753241750964]
  Yorub'aは、約4700万人の話者を持つアフリカの言語である。 アフリカ語のためのNLP技術開発への最近の取り組みは、彼らの標準方言に焦点を当てている。 我々は、このギャップを埋めるために、新しい高品質のパラレルテキストと音声コーパスを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:38:04Z)
• CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving [61.73180469072787]
  インド語から英語のテキストへのコード変更音声の音声翻訳(ST)の問題に焦点をあてる。 本稿では、事前訓練された自動音声認識(ASR)と機械翻訳(MT)モジュールを足場として、新しいエンドツーエンドモデルアーキテクチャCOSTAを提案する。 COSTAは、多くの競合するカスケードおよびエンドツーエンドのマルチモーダルベースラインを3.5BLEUポイントまで上回っている。
  論文  参考訳（メタデータ） (2024-06-16T16:10:51Z)
• Task-Agnostic Low-Rank Adapters for Unseen English Dialects [52.88554155235167]
  LLM(Large Language Models)は、標準アメリカ英語を好んで不均等に重み付けされたコーパスで訓練される。 HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-02T01:17:29Z)
• ALDi: Quantifying the Arabic Level of Dialectness of Text [17.37857915257019]
  我々は、アラビア語話者が方言のスペクトルを知覚し、文レベルでアラビア方言レベル(ALDi)として機能すると主張している。 AOC-ALDiの詳細な分析を行い、訓練したモデルが他のコーパスの方言のレベルを効果的に識別できることを示す。
  論文  参考訳（メタデータ） (2023-10-20T18:07:39Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• Beyond Arabic: Software for Perso-Arabic Script Manipulation [67.31374614549237]
  ペルソ・アラビア文字を使用する言語の書き起こしシステムを操作するための有限状態トランスデューサ(FST)コンポーネントとそれに対応するユーティリティのセットを提供する。 ライブラリはまた、単純なFSTベースのロマン化と文字変換も提供する。
  論文  参考訳（メタデータ） (2023-01-26T20:37:03Z)
• MANorm: A Normalization Dictionary for Moroccan Arabic Dialect Written in Latin Script [0.05833117322405446]
  我々は、YouTubeコメントのコーパスで生成された単語埋め込みモデルの強力さを利用する。 我々は、マノルムと呼ぶ正規化辞書を構築した。
  論文  参考訳（メタデータ） (2022-06-18T10:17:46Z)
• Automatic Dialect Density Estimation for African American English [74.44807604000967]
  アフリカ・アメリカン・イングリッシュ(AAE)方言の方言密度の自動予測について検討する。 方言密度は、非標準方言の特徴を含む発話における単語の割合として定義される。 このデータベースでは,AAE音声に対する予測された真理弁証密度と地上の真理弁証密度との間に有意な相関関係を示す。
  論文  参考訳（メタデータ） (2022-04-03T01:34:48Z)
• Automatic Arabic Dialect Identification Systems for Written Texts: A Survey [0.0]
  アラビア語の方言識別は自然言語処理の特定のタスクであり、与えられたテキストのアラビア語方言を自動的に予測することを目的としている。 本稿では,アラビア語の方言識別研究をテキストで包括的に調査する。 本稿では、従来の機械学習手法、ディープラーニングアーキテクチャ、アラビア方言識別のための複雑な学習アプローチについてレビューする。
  論文  参考訳（メタデータ） (2020-09-26T15:33:16Z)
• TArC: Incrementally and Semi-Automatically Collecting a Tunisian Arabish Corpus [3.8580784887142774]
  本稿では,第1次チュニジア・アラブ人コーパス(TArC)の構成過程について述べる。 アラビア語(アラビア語: Arabizi)は、アラビア語の方言をラテン文字とアリスモグラフ(文字として使われる数字)で自発的に符号化したものである。
  論文  参考訳（メタデータ） (2020-03-20T22:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。