論文の概要: CIBuzzBench: A Benchmark for Cross-Lingual Understanding of Chinese Internet Buzzwords

• arxiv url: http://arxiv.org/abs/2609.21722v1
• Date: Fri, 18 Sep 2026 12:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.090003
• Title: CIBuzzBench: A Benchmark for Cross-Lingual Understanding of Chinese Internet Buzzwords
• Title（参考訳）: CIBuzzBench: 中国のインターネットバズワードの言語間理解のためのベンチマーク
• Abstract要約: 中国インターネットバズワードの言語間理解のための最初のベンチマークであるCIBuzzBenchを紹介する。 CIBuzzBenchは3001の中国語のインターネットバズワードを英語で説明、英語の同義語、カテゴリーラベル、有害なラベルに注釈付けしている。 我々は、英語と中国語の両方のプロンプト設定下で、最先端のプロプライエタリおよび中国語のLLMを評価した。
• 参考スコア（独自算出の注目度）: 63.81514035927655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese social media has generated a vast and continually evolving lexicon of internet buzzwords whose meanings are often non-literal and deeply rooted in local cultural and pragmatic contexts. Existing research has primarily focused on interpreting these buzzwords within Chinese, leaving largely unexplored whether LLMs can transfer such culturally grounded knowledge across languages and accurately convey the intended meanings in English. This cross-lingual capability is also critical for safety, as harmful expressions may obscure their offensive content through culture-specific homophony, euphemism, irony, or coded language. In this paper, we investigate the ability of advanced LLMs to understand Chinese internet buzzwords across languages. To this end, we introduce CIBuzzBench, the first benchmark for cross-lingual Chinese-to-English understanding of Chinese internet buzzwords. CIBuzzBench comprises 3,001 Chinese internet buzzwords annotated with English meaning explanations, English equivalents, category labels, and harmfulness labels. Based on these annotations, we design three evaluation tasks: Meaning Explanation, Cross-lingual Equivalent Matching, and Culturally Grounded Harmfulness Detection. We evaluate representative state-of-the-art proprietary and Chinese LLMs under both English- and Chinese-prompting settings. Our results show that LLMs continue to struggle with the cross-lingual understanding of Chinese internet buzzwords, particularly in fine-grained non-literal interpretation, robust equivalent matching under option perturbations, and calibrated harmfulness detection. These findings highlight the persistent challenges posed by culturally grounded language phenomena for multilingual LLMs and safety-oriented evaluation. The dataset and code are available at https://github.com/SuperYFan/CIBuzzBench.
• Abstract（参考訳）: 中国のソーシャルメディアは、インターネットのバズワードの広大かつ継続的な進化のレキシコンを生み出しており、その意味はしばしば非リテラルであり、地元の文化的・実践的な文脈に深く根ざしている。 既存の研究は、これらのバズワードを中国語で解釈することに集中しており、LLMが言語間で文化的に根ざした知識を伝達し、英語で意図した意味を正確に伝達できるかどうか、ほとんど未解明のままである。 有害な表現は、文化固有のホモフォニー、エウヘミズム、皮肉、コード化された言語を通して、彼らの攻撃的な内容を曖昧にする可能性がある。 本稿では,先進的なLLMによる中国語インターネットのバズワード理解能力について検討する。 そこで我々はCIBuzzBenchを紹介した。CIBuzzBenchは中国語と中国語のバズワードの言語間理解のための最初のベンチマークである。 CIBuzzBenchは3001の中国語のインターネットバズワードを英語で説明、英語の同義語、カテゴリーラベル、有害なラベルに注釈付けしている。 これらのアノテーションに基づいて, 意味表現, 言語間等価マッチング, 文化的ハームフルネス検出の3つの評価タスクを設計する。 我々は、英語と中国語の両方のプロンプト設定下で、最先端のプロプライエタリおよび中国語のLLMを評価した。 以上の結果から,LLMは中国語のインターネットバズワードの言語間理解,特に微粒な非文体解釈,オプション摂動下でのロバストな等価マッチング,悪質検出の校正に苦慮し続けていることが示唆された。 これらの知見は,多言語LLMにおける文化的基盤言語現象の持続的課題と,安全性を重視した評価を浮き彫りにしたものである。 データセットとコードはhttps://github.com/SuperYFan/CIBuzzBench.comで公開されている。

関連論文リスト

• Beyond Surface Cues: Disentangling Sociocultural Signals in Multilingual LLMs [28.912535376913436]
  この研究は、英語、フランス語、中国語の12の多言語LLMから89,253のアウトプットを分析した。 ダイレクト・アイデンティティ・キューの削除は、英語と中国語でのアイデンティティ・ラベルの予測を減少させるが、フランス語でははるかに小さな効果を持つ。 ソース言語を識別する能力は、翻訳後およびマスキング後に大幅に低下する。
  論文  参考訳（メタデータ） (2026-08-24T09:32:16Z)
• Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
  大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。 シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。 我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
  論文  参考訳（メタデータ） (2025-09-18T08:14:34Z)
• Exploring Multimodal Challenges in Toxic Chinese Detection: Taxonomy, Benchmark, and Findings [48.841514684592426]
  我々は、有害な中国語検出に言語モデルをデプロイする上で重要な課題として、中国語のマルチモーダル性を強調した。 まず,3つの摂動戦略の分類法と,有毒な中国コンテンツに対する8つの具体的なアプローチを提案する。 そして、この分類に基づいてデータセットをキュレートし、9つのSOTA LLM(米国と中国)をベンチマークして、乱れた有毒な漢文を検出できるかどうかを評価する。
  論文  参考訳（メタデータ） (2025-05-30T08:32:45Z)
• Characterizing Bias: Benchmarking Large Language Models in Simplified versus Traditional Chinese [52.98034458924209]
  本研究では,大言語モデルが中国語の2つの変種に刺激された場合の差分性能について検討する。 実世界のシナリオを反映した2つのベンチマークタスクを設計する。 分析の結果、LLM応答のバイアスはタスクとプロンプト言語の両方に依存していることがわかった。
  論文  参考訳（メタデータ） (2025-05-28T17:56:49Z)
• EXECUTE: A Multilingual Benchmark for LLM Token Understanding [54.70665106141121]
  複数の言語にまたがるテストでは、他の言語の課題が英語のように常に文字レベルにあるとは限らないことが分かる。 また、中国語、日本語、韓国語のサブ文字タスクについても検討し、LLMの文字成分に対する理解を評価する。
  論文  参考訳（メタデータ） (2025-05-23T11:56:48Z)
• CKnowEdit: A New Chinese Knowledge Editing Dataset for Linguistics, Facts, and Logic Error Correction in LLMs [43.1380542830147]
  大規模言語モデル(LLM)における言語的・事実的・論理的誤りの訂正を目的とした,中国初の知識編集データセットであるCKnowEditを紹介する。 我々は、古典的なテキスト、イディオム、Baidu Tieba Ruozhibaのコンテンツを含む、幅広い情報源から7種類の知識を収集します。 このデータセットを解析することにより、中国語を習得する上で、現在のLLMが直面する課題を強調します。
  論文  参考訳（メタデータ） (2024-09-09T17:11:51Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。