論文の概要: North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge

• arxiv url: http://arxiv.org/abs/2610.15282v1
• Date: Sun, 11 Oct 2026 02:26:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.18326
• Title: North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge
• Title（参考訳）: 北か南か : LLMにおける北朝鮮語・社会・知識の理解
• Abstract要約: 我々は北朝鮮を、何十年にもわたって分割が、語彙、正書法、規範、イデオロギー的言説において、韓国と異なる違いを生み出してきた独特なテストベッドとして研究している。 LENS(Language and Social Culture Evaluation for North Korea Society)は,大規模言語モデルを評価する1,765の質問を人力検証したベンチマークである。 北朝鮮語の入力は軽度に低下し、社会文化的視点の整合性は大きく、ドメイン固有の知識には厳しい制限がある。
• 参考スコア（独自算出の注目度）: 21.625753856245108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have made substantial progress in multilingual question answering, yet their ability to understand low-resource sociolinguistic contexts remains under-explored. We study North Korea as a unique testbed where decades of division have produced distinct differences from South Korea in vocabulary, orthography, norms, and ideological discourse. We introduce LENS (Language and sociocultural Evaluation for North Korean Society), a human-validated benchmark of 1,765 questions evaluating LLMs across three dimensions: linguistic robustness, sociocultural perspective alignment, and domain-specific knowledge. Evaluating diverse recent LLMs, we find a modest performance drop on North Korean language inputs, a larger gap in sociocultural perspective alignment, and severe limitations on domain-specific knowledge. Qualitative analysis reveals that models often conflate formal institutions with lived realities, project liberal-democratic assumptions, or rely on coarse stereotypes. Our results demonstrate that linguistic similarity alone does not guarantee sociocultural or domain-specific understanding, highlighting the critical need for grounded evaluation resources for underrepresented cultural and political contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多言語質問応答において大きな進歩を遂げてきたが、低リソースの社会言語学的文脈を理解する能力はいまだ解明されていない。 我々は北朝鮮を、何十年にもわたって分割が、語彙、正書法、規範、イデオロギー的言説において、韓国と異なる違いを生み出してきた独特なテストベッドとして研究している。 LENS (Language and Social cultural Evaluation for North Korea Society) は,言語的ロバスト性,社会文化的視点のアライメント,ドメイン固有の知識の3次元にわたるLSMを評価する,1,765の人間による評価ベンチマークである。 近年の多種多様な LLM の評価では,北朝鮮語の入力に対するパフォーマンス低下,社会文化的視点の整合性の差,ドメイン固有の知識に対する厳しい制限が見られた。 定性的分析は、モデルがしばしば生きた現実、自由主義的・民主的な仮定、または粗いステレオタイプに依存する形式的な制度を記述していることを示している。 以上の結果から,言語的類似性だけでは社会文化的・ドメイン固有の理解が保証されないことが示され,文化的・政治的背景に根ざした評価資源の必要性が強調された。

関連論文リスト

• The Shape of Power: A Multilingual Framework for Social Power Reasoning in Dialogues [19.678644625110064]
  映画脚本を通して多言語対話における社会的力を研究するための理論的基盤となる枠組みを導入する。 我々は、フランスとエジプトのアラビア映画100シーンから15,836の注釈付き例を含む初期コーパスを構築した。 我々の分析は、観測可能な人口統計学的特性と文脈的属性について強い一致を示し、一方で、社会的に解釈された側面、例えばパワー非対称性や意図的アライメントは、より論争の的となっている。
  論文  参考訳（メタデータ） (2026-08-28T10:05:26Z)
• CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
  TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。 CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。 大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
  論文  参考訳（メタデータ） (2026-06-01T08:25:12Z)
• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• Language over Content: Tracing Cultural Understanding in Multilingual Large Language Models [10.798925500517823]
  内部パスは、異国語、異国語、異国語、異国語、異国語で重複する。 その結果,同言語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,異国語,
  論文  参考訳（メタデータ） (2025-10-18T16:19:45Z)
• MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints [7.822567458977689]
  MyCultureは、マレーシアの文化に関する大規模言語モデル(LLM)を総合的に評価するために設計されたベンチマークである。 従来のベンチマークとは異なり、MyCultureは未定義のオプションなしで、新しいオープンエンドの複数選択質問フォーマットを採用している。 構造化された出力と自由形式出力のモデル性能を比較して構造バイアスを解析し、多言語的プロンプト変動による言語バイアスを評価する。
  論文  参考訳（メタデータ） (2025-08-07T14:17:43Z)
• Nunchi-Bench: Benchmarking Language Models on Cultural Reasoning with a Focus on Korean Superstition [0.0]
  大規模言語モデルの文化的理解を評価するためのベンチマークであるNunchi-Benchを紹介する。 このベンチマークは、31のトピックにまたがる247の質問、事実的知識の評価、文化的に適切なアドバイス、状況的解釈で構成されている。 韓国語と英語の多言語LLMを評価し,韓国語文化の文脈を判断する能力について分析した。
  論文  参考訳（メタデータ） (2025-07-05T11:52:09Z)
• Disentangling Language and Culture for Evaluating Multilingual Large Language Models [48.06219053598005]
  本稿では,LLMの多言語機能を包括的に評価するデュアル評価フレームワークを提案する。 言語媒体と文化的文脈の次元に沿って評価を分解することにより、LLMが言語間を横断的に処理する能力の微妙な分析を可能にする。
  論文  参考訳（メタデータ） (2025-05-30T14:25:45Z)
• From Word to World: Evaluate and Mitigate Culture Bias in LLMs via Word Association Test [50.51344198689069]
  我々は,人中心語関連テスト(WAT)を拡張し,異文化間認知による大規模言語モデルのアライメントを評価する。 文化選好に対処するために,モデルの内部表現空間に直接,文化固有の意味的関連性を直接埋め込む革新的なアプローチであるCultureSteerを提案する。
  論文  参考訳（メタデータ） (2025-05-24T07:05:10Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。