論文の概要: Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu

• arxiv url: http://arxiv.org/abs/2609.10758v1
• Date: Wed, 09 Sep 2026 18:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.117085
• Title: Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu
• Title（参考訳）: 名前のみの多言語化 : ウルドゥー語におけるLLMの文化的・言語的弱さ
• Abstract要約: 3つの現代多言語言語モデルを用いて生成された93ストーリーのコーパスであるUrdu-Storiesを生成する。 我々は9つの言語、意味、文化の分類の下で、それらに存在する誤りを手動で注釈付けする。 我々の顕著な発見は、LLMが文法や意味論の基本的な誤りを犯すことがしばしばあることを示唆している。
• 参考スコア（独自算出の注目度）: 8.433305346446245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual large language models (LLMs) are increasingly used for open-ended text generation, yet their behaviour in low-resource languages remains poorly understood. In this work, we question how correct and reliable is the generation of multilingual LLMs when used for the task of story generation. We consider Urdu language as a representative low-resource language. We generate Urdu-Stories, a corpus of 93 stories generated using three contemporary LLMs (GPT-5.1, Qwen-3-Max, DeepSeek-3.1). We manually annotate the errors present in them under a nine-label linguistic, semantic, and cultural taxonomy. Our notable findings suggest that LLMs often make basic errors of grammar and semantics. The stories lack coherence, have unnatural repetition and show pervasive cultural shallowness. We further show using few-shot prompting that the cultural and context errors largely remain unresolved. Our findings highlight the limitations of current LLMs as a reliable source of content generation and information retrieval for low-resource languages.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、オープンなテキスト生成にますます使われているが、低リソース言語におけるそれらの振る舞いは理解されていない。 本研究では,物語生成のタスクにおいて,多言語 LLM の生成がどの程度正確で信頼性が高いかを疑問視する。 我々はウルドゥー語を代表的低リソース言語とみなしている。 我々は,3つの現代LCM(GPT-5.1,Qwen-3-Max,DeepSeek-3.1)を用いて生成された93ストーリーのコーパスであるUrdu-Storiesを生成する。 我々は9つの言語、意味、文化の分類法の下で、それらに存在する誤りを手動で注釈付けする。 我々の顕著な発見は、LLMが文法や意味論の基本的な誤りを犯すことがしばしばあることを示唆している。 物語はコヒーレンスを欠き、不自然な繰り返しを持ち、広範に文化的な浅さを示す。 さらに、ほとんどショットを用いることで、文化や文脈の誤りがほとんど未解決のままであることを示す。 本研究は,低リソース言語におけるコンテンツ生成と情報検索の信頼性の源泉として,現在のLLMの限界を強調した。

関連論文リスト

• Learning-From-Mistakes Prompting for Indigenous Language Translation [3.7790255156708397]
  本稿では,低リソースの母国語翻訳を改善する手法を提案する。 我々のアプローチは、限られた数の並列翻訳例からなるデータストアの使用に基礎を置いています。 我々は、LLMをユニバーサルトランスレータとして使用するような設定において、LLMと文脈内学習技術のポテンシャルを利用する。
  論文  参考訳（メタデータ） (2024-07-18T09:41:20Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [49.97641297850361]
  lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-28T03:44:01Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。