論文の概要: SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses

• arxiv url: http://arxiv.org/abs/2607.02049v1
• Date: Thu, 02 Jul 2026 11:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.812711
• Title: SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses
• Title（参考訳）: SPLIT:英語とウクライナのLLM応答における言語間の共感と文化的接地
• Abstract要約: 大規模言語モデルは、感情的な状況や危機に関連した状況にますます展開されている。 既存のベンチマークでは、多言語のパフォーマンスを強調しているが、危機に関連した共感と低-中-リソース言語における文化的基盤を調べることはめったにない。 SPLITは、ストレス、パニック、孤独、内部変位、緊張という5つのカテゴリにまたがる感情的根拠を持つ応答を生成する上で、LCMの一貫性を評価するために設計されたベンチマークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models are increasingly deployed in emotional-support contexts and crisis-related situations. Nevertheless, their cross-lingual abilities in these circumstances remain underexplored. Existing benchmarks emphasize multilingual performance but rarely examine crisis-related empathy and cultural grounding in low-to-mid-resource languages. We introduce SPLIT, a 500-prompt benchmark designed to evaluate LLM consistency in generating emotionally grounded responses across five categories: Stress, Panic, Loneliness, Internal Displacement, and Tension. We evaluate three technically diverse LLMs across three dimensions: Empathetic Accuracy, Linguistic Naturalness, and Contextual & Cultural Grounding. The framework aims to assess and compare the quality of LLM responses in both English and Ukrainian languages, as well as to explore the reliability of the LLM-as-a-jury paradigm. Our findings reveal that Gemini-2.5-Flash and LLaMA-3.3-70B-Instruct degrade when transitioning to Ukrainian, while DeepSeek-V3 remains comparatively stable within our benchmark. We additionally find that human and AI evaluators agree weakly on empathy and naturalness but diverge on cultural grounding. We further argue that producing Ukrainian text is not equivalent to producing Ukrainian emotional support. Our findings may assist in the future development of more culturally tailored benchmark designs, as well as encourage a stronger emphasis on human-centered evaluation.
• Abstract（参考訳）: 大規模言語モデルは、感情的な状況や危機に関連した状況にますます展開されている。 しかし、これらの状況下での言語横断能力はいまだに未解明のままである。 既存のベンチマークでは、多言語のパフォーマンスを強調しているが、危機に関連した共感と低-中-リソース言語における文化的基盤を調べることはめったにない。 SPLITは,ストレス,パニック,孤独,内部変位,緊張という5つのカテゴリにまたがる感情的接地応答の生成において,LLMの一貫性を評価するために設計された500プロンプトのベンチマークである。 我々は3次元の技術的に多様である3つのLCM(共感的正確性、言語的自然性、文脈的・文化的グラウンディング)を評価した。 このフレームワークは、英語とウクライナ語の両方におけるLLM応答の質を評価し比較すること、およびLLM-as-a-juryパラダイムの信頼性を検討することを目的としている。 この結果,Gemini-2.5-FlashとLLaMA-3.3-70B-Instructはウクライナへの移行時に分解され,DeepSeek-V3はベンチマークで比較的安定していることがわかった。 また、人間とAIの評価者は共感と自然性には弱いが、文化的な根拠にはとらわれている。 さらに、ウクライナのテキストの作成はウクライナの感情的支援の創出と同等ではないと論じる。 我々の発見は、より文化的に調整されたベンチマークデザインの開発を支援し、人間中心の評価をより強調するのに役立つかもしれない。

関連論文リスト

• Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese [10.873479326031935]
  大規模言語モデルは、雇用や学術的評価などの高い評価領域において、人間の文章をますます評価する。 その結果,3次元でL2テキストを評価した場合,約2倍の大きさの拡散ギャップと連接ギャップがあることが判明した。 我々は,母語話者の言語態度を構造化されているが減衰した形で再現し,言語態度フレームワークは英語以外の言語を監査するための既製のヤードスティックを提供する。
  論文  参考訳（メタデータ） (2026-08-03T02:59:59Z)
• CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
  TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。 CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。 大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
  論文  参考訳（メタデータ） (2026-06-01T08:25:12Z)
• Tears or Cheers? Benchmarking LLMs via Culturally Elicited Distinct Affective Responses [28.3173238194554]
  CEDARは、文化的にアンダーラインのscElicited underlinetextscDistinct underlinetextscAffective underlinetextscResponsesをキャプチャするシナリオから構築されたベンチマークである。 その結果得られたベンチマークは、7つの言語に10,962のインスタンスと14のきめ細かい感情カテゴリで構成され、各言語には400のマルチモーダルと1,166のテキストのみのサンプルが含まれている。
  論文  参考訳（メタデータ） (2026-01-19T13:04:26Z)
• I Am Aligned, But With Whom? MENA Values Benchmark for Evaluating Cultural Alignment and Multilingual Bias in LLMs [5.060243371992739]
  大規模言語モデル(LLM)の文化的アライメントと多言語バイアスを評価するための新しいベンチマークであるMENAValuesを紹介する。 大規模で権威ある人的調査から、我々は16カ国の人口レベルの応答分布を持つMENAの社会文化的景観を捉えた構造化データセットをキュレートした。 分析の結果,同じ質問が言語に基づいて大きく異なる反応をもたらす「クロス・Lingual Value Shifts」,その理由の説明を促す「Reasoning-induced Degradation」,モデルがセンシティブな質問を拒否する「Logit Leakage」,内部確率が強く隠蔽される「Logit Leakage」の3つの重要な現象が明らかになった。
  論文  参考訳（メタデータ） (2025-10-15T05:10:57Z)
• MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
  MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。 これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:12:12Z)
• MultiNRC: A Challenging and Native Multilingual Reasoning Evaluation Benchmark for LLMs [56.87573414161703]
  大規模言語モデル(LLM)を評価するベンチマークであるMultiNRC(MultiNRC)を導入する。 MultiNRCは4つの中核的推論カテゴリをカバーしている: 言語固有の言語推論、単語プレイとライドル、文化的/トラディション推論、文化的関連性のある数学推論である。 文化的・貿易的推論や文化的関連性を考慮した数学的推論については、英語に習熟した母語話者のマニュアル翻訳による多言語質問の英訳も提供する。
  論文  参考訳（メタデータ） (2025-07-23T12:56:31Z)
• XToM: Exploring the Multilingual Theory of Mind for Large Language Models [57.9821865189077]
  LLMにおける既存の心の理論の評価は英語に限られている。 XToMは5言語にまたがってToMを評価する,厳格に検証された多言語ベンチマークである。 以上の結果から,LLMが言語的文脈にまたがって人間的なメンタライゼーションを再現する能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2025-06-03T05:23:25Z)
• CULEMO: Cultural Lenses on Emotion -- Benchmarking LLMs for Cross-Cultural Emotion Understanding [7.308914305652415]
  カルチャー・レンズ・オン・エモーション (CuLEmo) は、6つの言語にまたがるカルチャー・アウェア・感情予測を評価するための最初のベンチマークである。 キュレモ語は言語ごとに400の工芸的な質問で構成されており、それぞれに微妙な文化的推論と理解が必要である。 このベンチマークを用いて、カルチャーを意識した感情予測と感情分析タスクにおける、最先端のLCMの評価を行う。
  論文  参考訳（メタデータ） (2025-03-12T01:01:30Z)
• Arabic Dataset for LLM Safeguard Evaluation [62.96160492994489]
  本研究では,アラビア語における大言語モデル(LLM)の安全性と,その言語的・文化的複雑さについて考察する。 本稿では, 直接攻撃, 間接攻撃, センシティブな単語による無害な要求を含む5,799の質問からなるアラブ地域固有の安全評価データセットを提案する。
  論文  参考訳（メタデータ） (2024-10-22T14:12:43Z)
• Guardians of Discourse: Evaluating LLMs on Multilingual Offensive Language Detection [10.129235204880443]
  非英語文脈におけるタスクに対する異なるプロンプト言語と拡張翻訳データの影響を評価する。 本稿では, LLMにおける固有バイアスと, センシティブなトピックに関する誤予測におけるデータセットの影響について論じる。
  論文  参考訳（メタデータ） (2024-10-21T04:08:16Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。