論文の概要: CultureTalk-ID: A Multi-Task Dialogue Benchmark for Cultural Commonsense in Indonesian Local Languages
- arxiv url: http://arxiv.org/abs/2607.21016v1
- Date: Thu, 23 Jul 2026 08:02:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.327446
- Title: CultureTalk-ID: A Multi-Task Dialogue Benchmark for Cultural Commonsense in Indonesian Local Languages
- Title（参考訳）: CultureTalk-ID: インドネシアの地方言語における文化的常識のためのマルチタスク対話ベンチマーク
- Abstract要約: インドネシア語とその地方言語における文化常識に関する最初の対話型ベンチマークであるCultureTalk-IDを紹介する。
CultureTalk-IDは、11言語にわたる4,496の文化的根拠のある対話と13の文化的に健全なトピックで構成されている。
- 参考スコア（独自算出の注目度）: 11.10195396318637
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Culture is lived through conversation, yet existing Indonesian cultural commonsense benchmarks evaluate LLMs on short and isolated prompts, stripping away the dialogic context in which cultural nuances actually surface. We introduce CultureTalk-ID, the first dialogue-based benchmark for cultural commonsense in Indonesian and its local languages, comprising 4,496 culturally grounded dialogues across 11 languages and 13 culturally salient topics, curated through a multi-stage human pipeline with native speakers to ensure authenticity. CultureTalk-ID introduces three complementary tasks, namely dialogue-based multiple-choice cultural commonsense reasoning, culturally faithful machine translation, and language steering, which jointly probe whether LLMs can understand, transfer, and generate culturally grounded language.
- Abstract（参考訳）: 文化は会話を通じて生きていますが、既存のインドネシアの文化的常識ベンチマークでは、短いプロンプトと孤立したプロンプトでLCMを評価し、文化的なニュアンスが実際に現れるダイアログのコンテキストを取り除いています。
インドネシア語とその地域言語における文化常識に関する最初の対話ベースのベンチマークであるCultureTalk-IDを紹介し,11言語にわたる文化的根拠のある対話4,496件と,母国語話者による多段階のヒューマンパイプラインを通じてキュレートし,真正性を保証する。
CultureTalk-IDは、3つの補完的なタスク、すなわち対話に基づく多分野の文化的コモンセンス推論、文化的に忠実な機械翻訳、言語ステアリングを導入し、LLMが文化的に根ざした言語を理解し、伝達し、生成できるかどうかを共同で調査する。
関連論文リスト
- MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。
これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。
i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
論文 参考訳（メタデータ） (2025-10-07T14:12:12Z) - Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。
アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。
以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
論文 参考訳（メタデータ） (2025-09-23T17:24:14Z) - CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。
文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。
実験結果から,文化的理解を効果的に評価できることが示唆された。
論文 参考訳（メタデータ） (2025-09-19T17:47:48Z) - MCEval: A Dynamic Framework for Fair Multilingual Cultural Evaluation of LLMs [25.128936333806678]
大規模な言語モデルは、文化的バイアスと限定的な文化的理解能力を示す。
動的文化的質問構築を用いた多言語評価フレームワークであるMCEvalを提案する。
論文 参考訳（メタデータ） (2025-07-13T16:24:35Z) - MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。
モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。
オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
論文 参考訳（メタデータ） (2025-05-27T19:29:40Z) - DaKultur: Evaluating the Cultural Awareness of Language Models for Danish with Native Speakers [17.355452637877402]
我々はデンマークのミッドリソース言語に対する最初の文化的評価研究を行い、母国語話者は異なるモデルに文化的認識を必要とする課題を解決するよう促す。
人口統計学的に多様性のある63人の1,038人のインタラクションの分析は、文化的適応に対するオープンな課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-04-03T08:52:42Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳（メタデータ） (2024-05-24T01:49:02Z) - Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳（メタデータ） (2024-05-07T20:28:34Z) - CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。
文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
論文 参考訳（メタデータ） (2024-04-16T00:50:43Z) - Cultural Commonsense Knowledge for Intercultural Dialogues [31.079990829088857]
本稿では,文化知識の高精度・高精度な主張を蒸留する方法であるMANGOについて述べる。
GPT-3.5でMANGO法を実行すると、30Kのコンセプトと11Kのカルチャーに対して167Kの高精度なアサーションが得られる。
MANGOから知識を追加することで、対話応答の全体的な品質、特異性、文化的感受性が向上することがわかった。
論文 参考訳（メタデータ） (2024-02-16T13:46:38Z) - Bridging Cultural Nuances in Dialogue Agents through Cultural Value
Surveys [20.82269206759988]
cuDialogは、文化レンズを使った対話生成のための第一級ベンチマークである。
対話交換から文化的属性を抽出できるベースラインモデルを開発した。
本稿では,対話型エンコーディング機能に文化的次元を組み込むことを提案する。
論文 参考訳（メタデータ） (2024-01-18T19:42:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。