論文の概要: Mind the Gap: Exposing LLM Translation Blind Spots Using the AlphaMWE Multilingual Parallel Corpus

• arxiv url: http://arxiv.org/abs/2609.06634v1
• Date: Sun, 06 Sep 2026 14:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.286715
• Title: Mind the Gap: Exposing LLM Translation Blind Spots Using the AlphaMWE Multilingual Parallel Corpus
• Title（参考訳）: Mind the Gap:AlphaMWE多言語並列コーパスを用いたLLM翻訳ブラインドスポットの公開
• Abstract要約: We report the system performances from the WMT2026 Test Suites shared task。 英語を中国語(zh)、ポーランド語(pl)、ドイツ語(de)、アラビア語(ar)にカバーする31のMTシステムの出力を受け取りました。 BLEU, ChrF, BERTスコアを用いて言語ペアごとのトップ3システムを選択する自動評価を行った。
• 参考スコア（独自算出の注目度）: 6.11187920238337
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs' performance on machine translation (MT) tasks is often dependent on the data availability in the specific domains and language pairs that they are trained upon. To examine if Multiword Expressions (MWEs) still set a bottleneck for LLMs regarding language understanding and translation, we report the system performances from the WMT2026 Test Suites shared task, for which we used the publicly available multilingual parallel corpus AlphaMWE as the test suites. We received 31 MT systems' outputs covering English to Chinese (zh), Polish (pl), German (de), Arabic (ar) including Modern Standard Arabic (MSA) and two dialectal ones (Egyptian and Tunisian Arabic). We carried out automatic evaluations using BLEU, ChrF, BERT-score to select the Top3 systems per language pair, followed up with human evaluations on the selected systems. Our findings show that: figurative/MWE phenomena remain challenging; automatic metrics sometimes disagree; human evaluation uncovers language-specific errors hidden by aggregate scores.
• Abstract（参考訳）: LLMの機械翻訳(MT)タスクのパフォーマンスは、訓練対象の特定のドメインと言語ペアのデータ可用性に依存することが多い。 We report the system performances from the WMT2026 Test Suites shared task, which we used the public available multilingual parallel corpus AlphaMWE as the test suites。 私たちは、中国語(zh)、ポーランド語(pl)、ドイツ語(de)、アラビア語(ar)、現代標準アラビア語(MSA)を含む31のMTシステムと2つの方言(エジプト語とチュニジア語)の出力を受け取りました。 BLEU, ChrF, BERTスコアを用いて言語ペアごとのトップ3システムを選択する自動評価を行った。 図形的/MWE現象は依然として困難なままであり、自動測度は時折一致せず、人間の評価は、集計スコアによって隠された言語固有の誤りを明らかにする。

関連論文リスト

• Evaluating Extremely Low-Resource Machine Translation: A Comparative Study of ChrF++ and BLEU Metrics [69.2321983942375]
  本研究では,n-gram-based metricであるBLEUと,文字-based metricであるChrF++を比較して,EMRL設定におけるMT評価を行う。 本研究は,3つのELRL(Magahi,Bhojpuri,Chhattisgarhi)にまたがる幻覚,反復,原文複写,ダイアクリティック(textitmatra)の変化など,各指標が翻訳物にどう反応するかを検討する。 最近の研究はChrF++にのみ依存することが多いが、BLEUは絶対スコアが低いにもかかわらず、解釈可能性を改善するための補完的な語彙精度の洞察を提供する。
  論文  参考訳（メタデータ） (2026-02-19T14:56:42Z)
• CEA-LIST at CheckThat! 2025: Evaluating LLMs as Detectors of Bias and Opinion in Text [3.9845507207125967]
  本稿では,大言語モデル (LLM) を用いた多言語主観性検出の競争的アプローチを提案する。 LLMは、慎重に設計されたプロンプトと組み合わせることで、微調整されたより小さな言語モデル(SLM)に適合または優れることを示す。 このシステムは,2025年の主観性検出タスクにおいて,複数の言語で上位にランクインした。
  論文  参考訳（メタデータ） (2025-07-10T08:35:05Z)
• mSTEB: Massively Multilingual Evaluation of LLMs on Speech and Text Tasks [14.0147704462457]
  我々は,大規模言語モデル(LLM)の性能を幅広いタスクで評価するための新しいベンチマークであるmSTEBを紹介する。 我々は,Gemini 2.0 Flash や GPT-4o (Audio) などの主要な LLM や Qwen 2 Audio や Gemma 3 27B といった最先端のオープンモデルの性能を評価する。
  論文  参考訳（メタデータ） (2025-06-10T03:15:08Z)
• MSA at SemEval-2025 Task 3: High Quality Weak Labeling and LLM Ensemble Verification for Multilingual Hallucination Detection [0.0]
  本稿では,SemEval-2025 Task 3: Mu-SHROOM, The Multilingual Shared-task on Hallucinations and Related Observable Overgeneration misstakesについて述べる。 このタスクは、複数の言語にまたがる命令チューニングされた大規模言語モデル(LLM)によって生成されたテキスト中の幻覚的スパンを検出することを含む。 我々のシステムはアラビア語とバスク語で第1位、ドイツ語、スウェーデン語、フィンランド語で第2位、チェコ語、ファルシ語、フランス語で第3位にランクインした。
  論文  参考訳（メタデータ） (2025-05-27T08:26:17Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models [54.58989938395976]
  本稿では,シーケンスラベリングタスクに対する分割プロンプト手法を提案する。 提案手法は,38言語を対象としたUniversal Dependencies part-of-speech Taggedについて検証する。
  論文  参考訳（メタデータ） (2024-02-28T15:15:39Z)
• Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction Following: A Case Study of Arabic [1.0878040851638]
  GPT-4を英語とアラビア語の問合せのための一様評価器として使用し、様々なオープンエンドタスクにおけるLCMの性能を評価し比較する。 マルチリンガルおよびマルチターンデータセットを用いた微調整ベースモデルは、スクラッチからトレーニングされたマルチリンガルデータと競合する可能性がある。
  論文  参考訳（メタデータ） (2023-10-23T11:40:04Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation [94.33019040320507]
  マルチモーダル機械翻訳(MMT)は、視覚的特徴を持つテキストのみの翻訳を強化することに焦点を当てている。 最近の進歩は、各言語ペアごとに別々のモデルをトレーニングすることに苦慮している。 7つの言語をカバーする2つのMultilingual MMTベンチマークデータセットを確立することで,Multilingual MMTタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:21:39Z)
• AlphaMWE: Construction of Multilingual Parallel Corpora with MWE Annotations [5.8010446129208155]
  マルチワード表現(MWE)アノテーションを用いた多言語並列コーパスの構築について述べる。 対象言語は英語、中国語、ポーランド語、ドイツ語である。 MWE関連翻訳において,MTシステムで発生する誤りの種類を分類する。
  論文  参考訳（メタデータ） (2020-11-07T14:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。