論文の概要: CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia
- arxiv url: http://arxiv.org/abs/2608.28405v1
- Date: Fri, 28 Aug 2026 14:56:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.37281
- Title: CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia
- Title（参考訳）: CultureConverse:東アジアと東南アジアにおける文化的支援のための多言語マルチターンシミュレーションハーネス
- Abstract要約: カルチャーコンバース(CultureConverse)は、文化的基盤を持つアシスタント対話のためのスケーラブルで多言語シミュレーションと評価ハーネスである。
その結果得られたCultureConverse-DSデータセットには、14,610のベンチマーク(評価)と274,295のオラクル誘導(ゴールドモード)ダイアログが含まれている。
人間のアノテーション実験は、評価フレームワークが人間の判断に十分なプロキシであることを示唆している。
- 参考スコア（独自算出の注目度）: 72.20656906184539
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current cultural evaluations for large language models (LLMs) often reduce culture to single-turn factual recall via MCQs, failing to capture a common use case: users seeking practical help over multiple turns in culturally grounded scenarios. We introduce CultureConverse, a scalable, multilingual simulation and evaluation harness for culturally grounded assistant dialogue that covers 10 East and Southeast Asian regions, 58 subgroup identities, and 7 domains. Each simulated and evaluated episode produces a scored interaction where the assistant assists the user and infers cultural constraints from partial information. The resulting CultureConverse-DS dataset contains 14,610 benchmark (evaluation) episodes and 274,295 oracle-guided (gold-mode) dialogues. In our benchmark evaluation of 18 models, GPT-5 mini achieves the highest assistance quality. Human annotation experiments suggest that our evaluation framework is a sufficient proxy for human judgment. Performance gains from fine-tuning on 27,860 high-quality CultureConverse-DS samples improve in-domain assistance and transfer out-of-domain to cultural MCQ and safety classification benchmarks. We release the harness, both splits, and judge prompts to support interactive evaluation of cultural competency.
- Abstract（参考訳）: 大規模言語モデル(LLM)の現在の文化的評価は、文化をMCQ経由で一ターンの事実リコールに還元することが多く、一般的なユースケースを捉えていない。
文化コンバース(CultureConverse)は、東アジアと東南アジアの10地域、58のサブグループアイデンティティ、および7つのドメインをカバーする、文化的基盤を持つアシスタント対話のためのスケーラブルで多言語シミュレーションと評価ハーネスである。
シミュレーションおよび評価された各エピソードは、ユーザを支援し、部分的な情報から文化的制約を推測する、スコア付きインタラクションを生成する。
その結果得られたCultureConverse-DSデータセットには、14,610のベンチマーク(評価)と274,295のオラクル誘導(ゴールドモード)ダイアログが含まれている。
GPT-5 miniは,18モデルのベンチマーク評価において,高い補助品質を達成している。
人間のアノテーション実験は,評価フレームワークが人間の判断に十分なプロキシであることを示唆している。
27,860の高品質なCultureConverse-DSサンプルの微調整によるパフォーマンス向上は、ドメイン内のアシストを改善し、外部ドメインを文化MCQと安全分類ベンチマークに転送する。
我々はハーネスを公開し、両者を分割し、審査員が文化的能力のインタラクティブな評価を支援するよう促す。
関連論文リスト
- CCBENCH: Assessing LLM Cultural Competence via Implicitly Signaled Norms using Health Queries [42.15271207948674]
大規模言語モデル(LLM)における文化的能力評価フレームワークであるCCBENCHを紹介する。
CCBENCH-Healthは、6つの文化にまたがる様々な標準順守状態を示す60の人格を含む。
5つの主要なモデルをベンチマークすると、最善者が文化的に適切なレスポンスを達成しても、その時間の20～30%しか得られないことが明らかになった。
論文 参考訳（メタデータ） (2026-06-08T22:52:34Z) - CrossCult-KIBench: A Benchmark for Cross-Cultural Knowledge Insertion in MLLMs [13.267566050457974]
異文化間の知識挿入は、他の文化における本来の振る舞いを保ちながら、特定の文化的文脈にモデルを適応させることに焦点を当てる。
ベンチマークには、英語、中国語、アラビア語文化グループにまたがる49の文化的関連視覚シナリオをカバーする、9800のイメージグラウンドケースが含まれている。
MCKI(Memory-Conditioned Knowledge Insertion)は、冷凍MLLM表現を用いて、外部メモリから関連する文化的知識を検索する。
論文 参考訳（メタデータ） (2026-05-07T12:26:11Z) - Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。
アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。
以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
論文 参考訳（メタデータ） (2025-09-23T17:24:14Z) - Culture is Everywhere: A Call for Intentionally Cultural Evaluation [36.20861746863831]
文献的文化的評価について論じる: 評価のあらゆる側面に埋め込まれた文化的仮定を体系的に検証するアプローチ。
我々は、現在のベンチマークプラクティスを超えて、意味と今後の方向性について議論する。
論文 参考訳（メタデータ） (2025-09-01T09:39:21Z) - MCEval: A Dynamic Framework for Fair Multilingual Cultural Evaluation of LLMs [25.128936333806678]
大規模な言語モデルは、文化的バイアスと限定的な文化的理解能力を示す。
動的文化的質問構築を用いた多言語評価フレームワークであるMCEvalを提案する。
論文 参考訳（メタデータ） (2025-07-13T16:24:35Z) - RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding [79.44246283490665]
本稿では,検索による視覚文化理解の促進を目的とした新しいベンチマークであるRAVENEAを紹介する。
RAVENEAは、文化中心の視覚的質問応答(cVQA)と文化インフォームドイメージキャプション(cIC)の2つのタスクに焦点を当てている。
画像クエリ毎に7つのマルチモーダルレトリバーを訓練・評価し、14の最先端の視覚言語モデルにおける検索強化入力の下流への影響を計測する。
論文 参考訳（メタデータ） (2025-05-20T14:57:16Z) - CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries [63.00147630084146]
視覚言語モデル(VLM)は高度な人間とAIの相互作用を持つが、文化的な理解に苦慮している。
CultureVerseは大規模なマルチモーダルベンチマークで、682の文化的概念、188の国/地域、15の文化的概念、3の質問タイプをカバーしている。
本稿では,文化理解の大幅な向上を実現するために,我々のデータセットを微調整したVLMのシリーズであるCultureVLMを提案する。
論文 参考訳（メタデータ） (2025-01-02T14:42:37Z) - CulturalBench: A Robust, Diverse, and Challenging Cultural Benchmark by Human-AI CulturalTeaming [75.82306181299153]
カルチャーベンチ(CulturalBench)は、LMの文化的知識を評価するための1,696の人文・人文的な質問である。
バングラデシュ、ジンバブエ、ペルーなど45の地域をカバーしている。
我々はHuman-AI Red-Teamingにインスパイアされた手法を用いてCulturalBenchを構築した。
論文 参考訳（メタデータ） (2024-10-03T17:04:31Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳（メタデータ） (2024-05-24T01:49:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。