論文の概要: How Robust Are LLMs to Vietnamese Dialects?

• arxiv url: http://arxiv.org/abs/2608.10414v1
• Date: Tue, 11 Aug 2026 03:02:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.884747
• Title: How Robust Are LLMs to Vietnamese Dialects?
• Title（参考訳）: LLMはベトナムの方言にどれくらいロバストか?
• Abstract要約: 本稿では,ベトナム語からベトナム語への方言変化を複数のタスクで評価する大規模言語モデル(LLM)の最初の体系的評価について述べる。 VialectBenchには、感情認識(ER)、自然言語推論(NLI)、質問応答(QA)、複数選択質問応答(MCQA)にまたがる400の標準ベトナム語ソースインスタンスと2,400の人間による方言書き換えが含まれている。 10の命令調整モデル全体で、方言入力は平均性能を2.82%削減し、評価されたモデルは完全な方言不変ではない。
• 参考スコア（独自算出の注目度）: 7.401730363695013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are typically evaluated on standard written Vietnamese, yet everyday communication frequently involves regional dialects that preserve meaning but differ in surface form. Existing Vietnamese dialect work largely addresses this issue through dialect-to-standard normalization instead of measuring how the model fails under Vietnamese dialectal inputs. To address this gap, we present the first systematic evaluation of LLM robustness to Vietnamese dialect variation across multiple tasks, quantifying performance degradation and failure patterns. We introduce VialectBench (Vietnamese Dialects Benchmarking), a controlled benchmark for testing whether model decisions remain stable across six Vietnamese dialect groups. VialectBench contains 400 Standard Vietnamese source instances and 2,400 human-written dialectal rewrites spanning emotion recognition (ER), natural language inference (NLI), question answering (QA), and multiple-choice question answering (MCQA). Dataset evaluation with a fixed reference language model shows that the dialectal rewrites induce a measurable model-relative likelihood shift while remaining nearly equal in length to their Standard counterparts. Across ten instruction-tuned models, dialectal inputs reduce average performance by 2.82%, and no evaluated model is fully dialect-invariant. All four tasks are affected, with QA showing the largest average degradation. Robustness also varies substantially across dialect groups: PNT3 and PNT2 cause the largest average performance drops, at 6.17% and 4.73%, respectively, whereas PNB slightly improves average performance by 0.42%. The Central dialect group (PNT1-PNT4) also yields the highest average harmful-flip rate across all models, at 6.54%. These findings show that strong performance on Standard Vietnamese does not guarantee reliable behavior under meaning-preserving regional variation.
• Abstract（参考訳）: 大型言語モデル (LLM) は一般的にベトナム語で書かれた標準語で評価されるが、日常的なコミュニケーションはしばしば、意味を保ちながら表面的な形態で異なる地域方言を含む。 既存のベトナム方言の作業は、ベトナム方言の入力でモデルがどのように失敗するかを測定するのではなく、方言と標準の正規化を通じてこの問題に対処する。 このギャップに対処するため,複数のタスクにわたるベトナム方言の変動に対するLLMの堅牢性の最初の体系的評価を行い,性能劣化と故障パターンの定量化を行った。 VialectBench (Vietnamese Dialects Benchmarking)は、ベトナムの6つの方言グループでモデル決定が安定しているかどうかをテストするための制御されたベンチマークである。 VialectBenchには、感情認識(ER)、自然言語推論(NLI)、質問応答(QA)、複数選択質問応答(MCQA)にまたがる400のベトナム語ソースインスタンスと2,400の人間による方言書き換えが含まれている。 固定参照言語モデルを用いたデータセット評価は、方言の書き直しによって測定可能なモデル相対可能性シフトが誘導され、標準言語とほぼ等しくなることを示している。 10の命令調整モデル全体で、方言入力は平均性能を2.82%削減し、評価されたモデルは完全な方言不変ではない。 4つのタスクすべてが影響を受けており、QAは最大の平均劣化を示している。 PNT3とPNT2はそれぞれ6.17%と4.73%で、PNBは平均性能を0.42%改善している。 中央方言群(PNT1-PNT4)は、全てのモデルで6.54%の有害フリップ率を持つ。 これらの結果から,ベトナム標準語に対する強い性能は,意味保存型地域変動下での信頼性の高い行動を保証するものではないことが示唆された。

関連論文リスト

• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects [6.107850985025956]
  本稿では,50の英語方言における偽情報検出のための最初のベンチマークであるDIA-HARMを提案する。 人間による方言の含有量は1.4-3.6%減少し、一方でAI生成された内容は安定している。 私たちはDIA-HARMフレームワーク、D3コーパス、評価ツールをリリースします。
  論文  参考訳（メタデータ） (2026-04-07T01:43:48Z)
• Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF [0.3227658251731014]
  大規模言語モデル(LLM)は、低リソース言語の方言に対する性能バイアスを頻繁に示している。 ベンガル方言9方言を対象に,LLM質問応答における方言バイアスを評価するための2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-22T18:44:57Z)
• ViDia2Std: A Parallel Corpus and Methods for Low-Resource Vietnamese Dialect-to-Standard Translation [5.3220011447194215]
  ViDia2Stdは、方言から標準ベトナム語への翻訳に初めて手動で注釈付けされた並列コーパスである。 以前のデータセットとは異なり、ViDia2Stdは中央、南部、非標準北部の様々な方言を含んでいる。 合意率は86%(北)、82%(中央)、85%(南)がViDia2Stdである。
  論文  参考訳（メタデータ） (2026-03-10T20:24:38Z)
• DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
  多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか? 6つの共通英語方言にまたがる大規模ベンチマークを構築した。 マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
  論文  参考訳（メタデータ） (2025-10-16T17:56:55Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Modeling Orthographic Variation in Occitan's Dialects [3.038642416291856]
  大規模多言語モデルは、前処理時のスペル正規化の必要性を最小限に抑える。 以上の結果から,複数言語モデルでは,前処理時のスペル正規化の必要性が最小限に抑えられていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-30T07:33:51Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
  マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。 ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。 私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
  論文  参考訳（メタデータ） (2022-12-15T18:17:01Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。