論文の概要: 'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2608.24191v1
• Date: Tue, 25 Aug 2026 07:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.864289
• Title: 'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
• Title（参考訳）: 訳語「Ghaib in Translation」と「Unseen Harm」:LLM Hate Speech Detectionにおける「ミス・イン・ウルドゥー」スコアによるクロススクリプト安全性の不整合の測定
• Abstract要約: ウルドゥー語は世界で10番目に多く、話者数は2億2600万人である。 現在のLLMは、ウルドゥのスクリプトの品種間の不均一な安全保証を提供する。 オープンウェイトモデルでは、フロンティアクローズドモデルよりも不安定性とミスハームレートが著しく高い。
• 参考スコア（独自算出の注目度）: 0.06363400715351396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Urdu, the world's tenth most spoken language with 246 million speakers, remains almost entirely absent from mainstream LLM safety evaluation and nine years of WOAH proceedings. To investigate whether this absence has measurable consequences for content moderation reliability, five large language models, GPT-4o, Claude Sonnet 4.5, Gemini 2.5 Flash, Qwen-2.5, and Llama-3.1, were tested across six datasets spanning Nastaliq Urdu, Roman Urdu, English, and code-switched Urdu-English. Across the five Urdu-script datasets, label instability between original-script and English-translation classification ranged from 15.9% (Gemini 2.5 Flash) to 31.6% (Qwen-2.5), with a 'Missed-in-Urdu' rate, content flagged as harmful in English translation but passed as normal in the original script, ranging from 2.4% to 9.9% (median 4.3%). A complete enumeration of all 205 papers across nine ALW/WOAH editions via the ACL Anthology API confirms zero dedicated Urdu papers across the entire period. Results indicate that current LLMs provide uneven safety assurance across Urdu's script varieties, with smaller open-weight models showing substantially higher instability and missed-harm rates than frontier closed models.
• Abstract（参考訳）: 2億2600万人の話者を抱える世界で10番目に話されている言語であるウルドゥー語は、主要なLCMの安全性評価と9年間のWOAH手続きからほとんど完全に欠落している。 この欠如がコンテンツのモデレーションの信頼性に影響を及ぼすかどうかを調べるため、GPT-4o、Claude Sonnet 4.5、Gemini 2.5 Flash、Qwen-2.5、Llama-3.1の5つの大きな言語モデルが、Nastaliq Urdu、Roman Urdu、英語、コード変更されたUrdu- Englishの6つのデータセットでテストされた。 5つのUrdu-scriptデータセット全体で、原文と英語の翻訳分類の間のラベルの不安定性は15.9%(Gemini 2.5 Flash)から31.6%(Qwen-2.5)まで変化し、"Missed-in-Urdu"レートは英語翻訳では有害であると宣言されるが、オリジナルのスクリプトでは2.4%から9.9%(中略4.3%)まで変化した。 ACL Anthology APIを通じて、9つのALW/WOAHエディションにまたがる205の論文の完全な列挙が、この期間にわたって、専用のUrdu論文がゼロであることを確認している。 結果は、現在のLLMは、フロンティアクローズドモデルよりも不安定性とミスハーム率が著しく高い、より小さなオープンウェイトモデルにより、ウルドゥーのスクリプト品種間の不均一な安全保証を提供することを示している。

関連論文リスト

• Multilingual jailbreaking of LLMs using low-resource languages [0.0]
  大規模言語モデル(LLM)は、ジェイルブレイクの試みに対して脆弱なままである。 低資源アフリカ語(アフリカ人、キスワヒリ人、イシXhosa人、イシズルー人)を用いたマルチターン会話が安全メカニズムを回避できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-05-18T11:33:18Z)
• LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
  大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。 このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。 セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
  論文  参考訳（メタデータ） (2026-04-13T15:59:50Z)
• DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects [6.107850985025956]
  本稿では,50の英語方言における偽情報検出のための最初のベンチマークであるDIA-HARMを提案する。 人間による方言の含有量は1.4-3.6%減少し、一方でAI生成された内容は安定している。 私たちはDIA-HARMフレームワーク、D3コーパス、評価ツールをリリースします。
  論文  参考訳（メタデータ） (2026-04-07T01:43:48Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• Qalb: Largest State-of-the-Art Urdu Large Language Model for 230M Speakers with Systematic Continued Pre-training [3.950299047992185]
  ウルドゥー語は、2億3000万人以上の人々が話しており、現代のNLPシステムでは批判的に不足している。 2段階のアプローチで開発された言語モデルであるQalbを紹介した。 この結果から,多種多様な高品質な言語データに対する事前学習が,目標とする命令の微調整と相まって,基礎モデルを低リソース言語に効果的に適用できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-13T02:05:05Z)
• UrBLiMP: A Benchmark for Evaluating the Linguistic Competence of Large Language Models in Urdu [12.952822154200497]
  言語最小ペア(UrBLiMP)のUrduベンチマークについて述べる。 UrBLiMPは10コアの構文現象を対象とする5,696個の最小ペアから構成される。 UrBLiMPアノテーションの人間による評価は96.10%のアノテーション間の合意を得た。
  論文  参考訳（メタデータ） (2025-08-01T18:16:37Z)
• Bridging the Gap: Enhancing LLM Performance for Low-Resource African Languages with New Benchmarks, Fine-Tuning, and Cultural Adjustments [0.9214083577876088]
  本稿では,8つの低リソースアフリカ言語において,約100万の人文翻訳語を新たにベンチマークデータとして生成する。 我々のベンチマークはウィノグランデの翻訳とMMLUの3つのセクション(大学医学、臨床知識、ウイルス学)である。 翻訳されたベンチマークを用いて、英語とアフリカ語におけるSOTA(State-of-the-art LLM)のパフォーマンスギャップについて報告する。
  論文  参考訳（メタデータ） (2024-12-16T23:50:21Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning [63.481446315733145]
  多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。 本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。 本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
  論文  参考訳（メタデータ） (2024-04-30T14:43:57Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding [53.84948040596055]
  修正された復号化目標を用いて、障害ケースを緩和する2つの関連手法を提案する。 大規模多言語モデルM2M-100 (418M) とSMaLL-100の実験は、これらの手法が幻覚やターゲット外の翻訳を抑制することを示した。
  論文  参考訳（メタデータ） (2023-09-13T17:15:27Z)
• Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
  複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。 GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。 多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
  論文  参考訳（メタデータ） (2023-02-17T14:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。