論文の概要: Advancing Dialectal Arabic to Modern Standard Arabic Machine Translation

• arxiv url: http://arxiv.org/abs/2507.20301v1
• Date: Sun, 27 Jul 2025 14:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:57.376592
• Title: Advancing Dialectal Arabic to Modern Standard Arabic Machine Translation
• Title（参考訳）: アラビア語を現代標準アラビア語機械翻訳に発展させる
• Authors: Abdullah Alabdullah, Lifeng Han, Chenghua Lin,
• Abstract要約: 本稿では,レバンタ語,エジプト語,湾岸方言のDA-MSA翻訳の進展に寄与する2つの中核的貢献について述べる。 ゼロショット,チェーン・オブ・シント,提案手法であるAra-TEaR法を改良した。 共同で訓練されたマルチダイアレクトモデルは、シングルダイアレクトのモデルを10%以上のCHrF++で上回った。
• 参考スコア（独自算出の注目度）: 15.773183176935405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialectal Arabic (DA) poses a persistent challenge for natural language processing (NLP), as most everyday communication in the Arab world occurs in dialects that diverge significantly from Modern Standard Arabic (MSA). This linguistic divide limits access to digital services and educational resources and impedes progress in Arabic machine translation. This paper presents two core contributions to advancing DA-MSA translation for the Levantine, Egyptian, and Gulf dialects, particularly in low-resource and computationally constrained settings: a comprehensive evaluation of training-free prompting techniques, and the development of a resource-efficient fine-tuning pipeline. Our evaluation of prompting strategies across six large language models (LLMs) found that few-shot prompting consistently outperformed zero-shot, chain-of-thought, and our proposed Ara-TEaR method. GPT-4o achieved the highest performance across all prompting settings. For fine-tuning, a quantized Gemma2-9B model achieved a CHrF++ score of 49.88, outperforming zero-shot GPT-4o (44.58). Joint multi-dialect trained models outperformed single-dialect counterparts by over 10% CHrF++, and 4-bit quantization reduced memory usage by 60% with less than 1% performance loss. The results and insights of our experiments offer a practical blueprint for improving dialectal inclusion in Arabic NLP, showing that high-quality DA-MSA machine translation is achievable even with limited resources and paving the way for more inclusive language technologies.
• Abstract（参考訳）: 方言アラビア語(DA)は、現代標準アラビア語(MSA)とは大きく異なる方言において、アラブ世界のほとんどの日常的なコミュニケーションが生じるため、自然言語処理(NLP)において永続的な課題となる。 この言語分割は、デジタルサービスや教育資源へのアクセスを制限し、アラビア語の機械翻訳の進歩を妨げる。 本稿では,レバント方言,エジプト方言,ガルフ方言に対するDA-MSA翻訳の進展,特に低資源・計算制約条件下でのDA-MSA翻訳への2つの中心的貢献について述べる。 6つの大言語モデル (LLM) 間でのプロンプト戦略の評価により, ゼロショット, チェーン・オブ・シント, 提案したAra-TEaR 法が一貫した性能を示した。 GPT-4oは全てのプロンプト設定で最高性能を達成した。 微調整のため、量子化されたGemma2-9BモデルはCHrF++スコア49.88を達成し、ゼロショット GPT-4o (44.58) を上回った。 共同で訓練されたマルチダイアレクトモデルは、シングルダイアレクトを10%以上のCHrF++で上回り、4ビットの量子化によりメモリ使用量を60%削減し、パフォーマンス損失は1%以下になった。 我々の実験の結果と知見は、アラビア語のNLPにおける方言の包摂性を改善するための実用的な青写真を提供し、高品質のDA-MSA機械翻訳が限られた資源でも達成可能であることを示し、より包摂的な言語技術への道を開いた。

関連論文リスト

• ALPS: A Diagnostic Challenge Set for Arabic Linguistic & Pragmatic Reasoning [0.0]
  ALPS(アラビア語: Linguistic & Pragmatic Suite)は、Deep Semantics and Pragmatics(ディープ・セマンティックス・アンド・プラグマティクス)を探索する専門的な診断課題である。 ALPSは15のタスクと47のサブタスクにわたる厳密な質問を531問を通じて言語理解の深さを目標としている。 我々は、アラビア語の言語学の深い専門知識と文化の真正性を保証し、翻訳品を排除したデータセットを開発した。
  論文  参考訳（メタデータ） (2026-02-19T03:51:37Z)
• Doing More with Less: Data Augmentation for Sudanese Dialect Automatic Speech Recognition [0.0]
  本稿では,OpenAI Whisperモデルを微調整するためのデータ拡張手法について述べる。 スーダン方言の最初のベンチマークを確立している。
  論文  参考訳（メタデータ） (2026-01-11T08:28:31Z)
• DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
  アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。 MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
  論文  参考訳（メタデータ） (2025-10-31T15:17:06Z)
• DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
  多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか? 6つの共通英語方言にまたがる大規模ベンチマークを構築した。 マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
  論文  参考訳（メタデータ） (2025-10-16T17:56:55Z)
• BALSAM: A Platform for Benchmarking Arabic Large Language Models [34.50348949235453]
  BALSAMは、アラビア語のLLM開発と評価を進めることを目的とした総合的なコミュニティ主導のベンチマークである。 14の幅広いカテゴリから78のNLPタスクが含まれており、52Kのサンプルは37Kテストと15K開発に分割されている。
  論文  参考訳（メタデータ） (2025-07-30T12:16:39Z)
• A Comprehensive Evaluation of Large Language Models on Mental Illnesses in Arabic Context [0.9074663948713616]
  メンタルヘルス障害はアラブ世界で公衆衛生の懸念が高まっている。 本研究は,多様なメンタルヘルスデータセットに基づいて,8つの大言語モデル(LLM)を包括的に評価する。
  論文  参考訳（メタデータ） (2025-01-12T16:17:25Z)
• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• Resource-Aware Arabic LLM Creation: Model Adaptation, Integration, and Multi-Domain Testing [0.0]
  本稿では,4GB VRAMしか持たないシステム上で,量子化低ランク適応(QLoRA)を用いたアラビア語処理のためのQwen2-1.5Bモデルを微調整する新しい手法を提案する。 Bactrian、OpenAssistant、Wikipedia Arabic corporaなどの多様なデータセットを使用して、この大きな言語モデルをアラビア語領域に適応する過程を詳述する。 1万以上のトレーニングステップの実験結果は、最終的な損失が0.1083に収束するなど、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-12-23T13:08:48Z)
• Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion [55.27025066199226]
  本稿では,アラブ世界における大規模言語モデル(LLM)の民主化の必要性に対処する。 アラビア語のLLMの実用的な目的の1つは、復号を高速化するトークン化器にアラビア語固有の語彙を使用することである。 第二言語(アラビア語)による人への獲得の間に語彙学習に触発されたAraLLaMAは、進歩的な語彙拡張を採用している。
  論文  参考訳（メタデータ） (2024-12-16T19:29:06Z)
• Enhancing Low-Resource NMT with a Multilingual Encoder and Knowledge Distillation: A Case Study [14.300310437948443]
  本稿では,低リソース言語への翻訳を容易にするために,事前学習型言語モデルの利点と,セック2セックアーキテクチャの知識蒸留を活用するフレームワークについて検討する。 本フレームワークは,低リソースのIndic言語を4つのIndic-to-Indic方向で評価し,BLEU-4とchrFの改善を実現した。
  論文  参考訳（メタデータ） (2024-07-09T04:19:52Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• ChatGPT for Arabic Grammatical Error Correction [5.945320097465418]
  大きな言語モデル(LLM)は、人間の指示に従うように微調整され、英語のNLPタスクにおいて重要な機能を示した。 本稿では,アラビア語の豊富な形態が原因で複雑化した課題である,アラビア語 GEC における微調整 LLM の指導能力について検討する。 命令の微調整モデルは,そのサイズによらず,かなり小型の完全微調整モデルに比べて性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T18:00:39Z)
• Strategies for improving low resource speech to text translation relying on pre-trained ASR models [59.90106959717875]
  本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。 本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
  論文  参考訳（メタデータ） (2023-05-31T21:58:07Z)
• LAraBench: Benchmarking Arabic AI with Large Language Models [26.249084464525044]
  LAraBenchはこのギャップをアラビア自然言語処理(NLP)と音声処理タスクに対処している。 我々は、GPT-3.5-turbo、GPT-4、BLOOMZ、Jais-13b-chat、Whisper、USMといったモデルを用いて、61のデータセットで33の異なるタスクに取り組む。 これには,296Kデータポイント,46時間スピーチ,テキスト音声(TTS)30文を含む98の実験的セットアップが含まれていた。
  論文  参考訳（メタデータ） (2023-05-24T10:16:16Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。