論文の概要: Current state of LLMs for Arabic dialectal machine translation

• arxiv url: http://arxiv.org/abs/2611.02271v1
• Date: Sun, 01 Nov 2026 22:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.542023
• Title: Current state of LLMs for Arabic dialectal machine translation
• Title（参考訳）: アラビア語方言機械翻訳のためのLLMの現状
• Abstract要約: 本研究は,MADARデータセットを用いた英語と方言のアラビア機械翻訳のための大規模言語モデル (LLM) の評価を行う。 16のアラビア方言の翻訳方向(英語からアラビア語への翻訳方向と副詞への翻訳方向)を評価した。
• 参考スコア（独自算出の注目度）: 2.638116313344784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents an evaluation of large language models (LLMs) for English to dialectal Arabic machine translation on the MADAR dataset. We evaluate both translation directions (English to Arabic and vice-versa) on 16 Arabic dialects. Our experiments cover a diverse set of models, including specialized Arabic models (Jais, Nile), multilingual models (Gemma, Command-R, Mistral, Aya), and commercial APIs (GPT-4.1). We employ multiple evaluation metrics: BLEU, CHRF, COMET (both reference-based and reference-less variants) and GEMBA (LLM-as-a-judge), as well as a small-scale manual evaluation, to assess translation quality. We discuss the challenges of automatic MT evaluation, especially in the context of Arabic dialects. We also evaluate the ability of LLMs to classify the dialect used in a text. The study offers insights into the capabilities and limitations of current LLMs for dialectal Arabic machine translation, particularly highlighting the difficulty of handling dialectal diversity, although the results may be influenced by possible training data contamination, which is always a concern with LLMs.
• Abstract（参考訳）: 本研究は,MADARデータセットを用いた英語と方言のアラビア機械翻訳のための大規模言語モデル (LLM) の評価を行う。 16のアラビア方言の翻訳方向(英語からアラビア語への翻訳方向と副詞への翻訳方向)を評価した。 実験では、アラビア語の特殊モデル(Jais, Nile)、多言語モデル(Gemma, Command-R, Mistral, Aya)、商用API(GPT-4.1)など、さまざまなモデルの集合をカバーする。 BLEU, CHRF, COMET (参照ベースと参照レスの両方) と GEMBA (LLM-as-a-judge) の2つの評価指標を用いて, 翻訳品質の評価を行う。 本稿では,特にアラビア方言の文脈におけるMT自動評価の課題について論じる。 また、LLMがテキストで使われる方言を分類する能力についても評価する。 この研究は、方言のアラビア機械翻訳における現在のLLMの機能と限界に関する洞察を与え、特に方言の多様性を扱うことの難しさを浮き彫りにした。

関連論文リスト

• DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
  アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。 MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
  論文  参考訳（メタデータ） (2025-10-31T15:17:06Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs [22.121471902726892]
  本稿ではアラビア方言と文化評価のベンチマークであるAraDiCEを紹介する。 湾岸地域、エジプト地域、レバント地域の文化意識を評価するために設計された最初のきめ細かいベンチマーク。
  論文  参考訳（メタデータ） (2024-09-17T17:59:25Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction Following: A Case Study of Arabic [1.0878040851638]
  GPT-4を英語とアラビア語の問合せのための一様評価器として使用し、様々なオープンエンドタスクにおけるLCMの性能を評価し比較する。 マルチリンガルおよびマルチターンデータセットを用いた微調整ベースモデルは、スクラッチからトレーニングされたマルチリンガルデータと競合する可能性がある。
  論文  参考訳（メタデータ） (2023-10-23T11:40:04Z)
• TARJAMAT: Evaluation of Bard and ChatGPT on Machine Translation of Ten Arabic Varieties [18.73290429469502]
  BardとChatGPTを10種類のアラビア語の機械翻訳能力について評価した。 我々の評価では、古典アラビア語(CA)、現代標準アラビア語(MSA)、およびいくつかの国レベルの方言の変種を網羅している。 しかし、CAとMSAでは、命令調整されたLLMがGoogle Translateのような商用システムに遅れを取っている。
  論文  参考訳（メタデータ） (2023-08-06T08:29:16Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。