論文の概要: Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?
- arxiv url: http://arxiv.org/abs/2607.23440v1
- Date: Sun, 26 Jul 2026 03:39:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.101397
- Title: Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?
- Title（参考訳）: LLMは中国語のXiehouyu Riddlesを理解・生成できるのか?
- Abstract要約: 我々は、複数選択質問(MCQ)、自由形説明生成、および新しいxiehouyu生成を用いて、LLMがxiehouyuを理解・生成する能力を評価する。
調査の結果、フロンティアの中国モデルは平均$_acc$23.6%、英語中心のモデルは平均$_acc$5.1%であることがわかった。
- 参考スコア（独自算出の注目度）: 2.8032495972021536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we push the boundary of LLM reasoning by testing them in a Chinese language game, xiehouyu, with novel xiehouyu created by linguists that had not existed before to avoid data contamination. We use multiple-choice questions (MCQ), free-form explanation generation, and new xiehouyu creation to evaluate LLMs' ability to understand and create xiehouyu. In MCQ, we use the delta of accuracy ($Δ_{acc}$) between existing but low-frequency xiehouyu and novel ones as an index for memorization. $Δ_{acc}$ for native speakers is very low, suggesting similar processing mechanisms. However, we found that frontier Chinese models have on average a $Δ_{acc}$ of 23.6\%, while English-centric models tested have a mean $Δ_{acc}$ of 5.1\%, suggesting that frontier Chinese models are likely trained with much larger Chinese data, thus memorizing more low-frequency xiehouyu. For novel xiehouyu, Gemini 3.1 Pro demonstrated remarkable ability with acc 92.6, which is 24\% higher than human accuracy. In xiehouyu creation, those created by LLMs receive much worse ratings than those by humans. These results suggest that claims about the reasoning abilities of LLMs may need careful re-examination considering the data contamination issue, and that LLMs' creativity in language-related tasks may still be behind human experts, at least in Chinese xiehouyu.
- Abstract（参考訳）: 本稿では,これまでデータ汚染を回避して存在しなかった言語学者が創出した新奇なキセウユを,中国語ゲーム「キセウユ」でテストすることで,LLM推論の境界を推し進める。
我々は、複数選択質問(MCQ)、自由形説明生成、および新しいxiehouyu生成を用いて、LLMがxiehouyuを理解・生成する能力を評価する。
MCQでは,既往ながら低周波キセウユと新規キセウユとの精度差(Δ_{acc}$)を記憶指標として用いる。
ネイティブ話者に対する$Δ_{acc}$は非常に低く、同様の処理機構を示唆している。
しかし、フロンティアの中国モデルは平均$Δ_{acc}$23.6\%であり、試験された英語中心のモデルは平均$Δ_{acc}$5.1\%であり、フロンティアの中国モデルはより大きな中国のデータで訓練されており、より低周波のキセフーを記憶している可能性が示唆された。
斬新なxiehouyuについて、Gemini 3.1 Proは、人間の精度より24倍高い92.6の優れた能力を示した。
キセフー生成では、LSMによって作られたものの方が人間よりも格付けがかなり悪い。
これらの結果は、LLMの推論能力に関する主張は、データ汚染問題を考えると、慎重に再検討する必要がある可能性があり、少なくとも中国のキセウユでは、LLMの言語関連タスクにおける創造性は、人間専門家の陰にある可能性があることを示唆している。
関連論文リスト
- Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu [8.433305346446245]
3つの現代多言語言語モデルを用いて生成された93ストーリーのコーパスであるUrdu-Storiesを生成する。
我々は9つの言語、意味、文化の分類の下で、それらに存在する誤りを手動で注釈付けする。
我々の顕著な発見は、LLMが文法や意味論の基本的な誤りを犯すことがしばしばあることを示唆している。
論文 参考訳（メタデータ） (2026-09-09T18:59:52Z) - Evaluating Chinese Ambiguity Understanding in Large Language Models [15.610863020079327]
CHA-Genは、PA理論に基づく最初の中国の曖昧性データセットである。
5,712文(曖昧な2,414文、曖昧な3,298文)からなり、18の潜在的な曖昧な構造を含んでいる。
論文 参考訳（メタデータ） (2026-05-15T05:35:18Z) - Exploring Multimodal Challenges in Toxic Chinese Detection: Taxonomy, Benchmark, and Findings [48.841514684592426]
我々は、有害な中国語検出に言語モデルをデプロイする上で重要な課題として、中国語のマルチモーダル性を強調した。
まず,3つの摂動戦略の分類法と,有毒な中国コンテンツに対する8つの具体的なアプローチを提案する。
そして、この分類に基づいてデータセットをキュレートし、9つのSOTA LLM(米国と中国)をベンチマークして、乱れた有毒な漢文を検出できるかどうかを評価する。
論文 参考訳（メタデータ） (2025-05-30T08:32:45Z) - Characterizing Bias: Benchmarking Large Language Models in Simplified versus Traditional Chinese [52.98034458924209]
本研究では,大言語モデルが中国語の2つの変種に刺激された場合の差分性能について検討する。
実世界のシナリオを反映した2つのベンチマークタスクを設計する。
分析の結果、LLM応答のバイアスはタスクとプロンプト言語の両方に依存していることがわかった。
論文 参考訳（メタデータ） (2025-05-28T17:56:49Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳（メタデータ） (2024-06-28T17:03:51Z) - Do Large Language Models Understand Conversational Implicature -- A case study with a chinese sitcom [4.142301960178498]
SwordsmanImpは、会話の不適応を目的とした中国初のマルチターン対話ベースのデータセットである。
200の注意深い手作りの質問が含まれており、すべての注釈がグリサンの最大値が違反している。
以上の結果から, GPT-4は, 複数質問に対する人間レベルの精度(94%)を達成できることがわかった。
GPT-3.5やいくつかのオープンソースモデルを含む他のモデルは、複数の質問に対して20%から60%の低い精度を示している。
論文 参考訳（メタデータ） (2024-04-30T12:43:53Z) - CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。
CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。
データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
論文 参考訳（メタデータ） (2024-02-20T16:02:12Z) - YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。
YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。
ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
論文 参考訳（メタデータ） (2023-12-22T17:34:47Z) - Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した
入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
論文 参考訳（メタデータ） (2023-05-11T05:19:47Z) - SLING: Sino Linguistic Evaluation of Large Language Models [34.42512869432145]
Sling (Sino linguistics) は、中国語における38Kの最小文対を9つの高水準言語現象に分類する。
Sling 上で 18 個の事前訓練された単言語 (BERT-base-zh など) とマルチ言語 (mT5 や XLM など) の言語モデルをテストする。
実験の結果, LMの平均精度は人的性能(69.7%対97.1%)よりはるかに低いが, BERT-base-zhは試験されたLMの最大精度(84.8%)を達成していることがわかった。
論文 参考訳（メタデータ） (2022-10-21T02:29:39Z) - Investigating Transfer Learning in Multilingual Pre-trained Language
Models through Chinese Natural Language Inference [11.096793445651313]
中国語と英語の自然言語推論(NLI)におけるXLM-Rの言語間移動能力について検討する。
言語移動をより深く理解するために、中国語の課題と敵対課題の4つのカテゴリを作成しました。
英語のNLIで訓練された言語間のモデルが、中国語のタスク間でうまく伝達されていることが分かりました。
論文 参考訳（メタデータ） (2021-06-07T22:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。