論文の概要: NRITYAM: Language Models Meet Art and Heritage of Dance
- arxiv url: http://arxiv.org/abs/2606.19727v1
- Date: Thu, 18 Jun 2026 02:50:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.616853
- Title: NRITYAM: Language Models Meet Art and Heritage of Dance
- Title(参考訳): NRITYAM: 言語モデルとアートとダンスの遺産
- Authors: Punit Kumar Singh, Niladri Ghosh, Advait Joshiınst, Shailee Choudhary, Michael Färber, Haiqin Yang,
- Abstract要約: NRITYAMは、12言語にまたがる9,260の精巧な質問応答ペアで構成されている。
データセットは、ネイティブダンスアーティストとネイティブスピーカーとの密接なコラボレーションを通じて、ゼロから開発されている。
NRITYAMは多言語および多文化のベンチマークとして、AIシステムが伝統的な芸能について理解し、推論する能力を評価するための新しい標準を設定している。
- 参考スコア(独自算出の注目度): 9.272285505965455
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models have become essential tools in shaping modern workflows. However, their global effectiveness hinges on a nuanced understanding of local socio-cultural contexts. To address this gap, we present NRITYAM, a comprehensive benchmark for evaluating the cultural comprehension capabilities of language models in the context of global dance traditions. NRITYAM comprises 9,260 carefully curated question-answer pairs spanning 12 languages, making it the largest dataset dedicated to evaluating cultural knowledge in dance. The dataset has been developed from the ground up through close collaboration with native dance artists and native speakers of the languages, who authored and validated culturally relevant questions specific to their regions. We evaluate a broad set of models, including large language models, small language models, multimodal large language models, and small multimodal language models. As a multilingual and multicultural benchmark, NRITYAM sets a new standard for evaluating the ability of AI systems to understand and reason about traditional performing arts. Detailed dataset samples are available at~\url{https://github.com/niladrighosh03/NRITYAM}.
- Abstract(参考訳): 言語モデルは、現代的なワークフローを形成する上で不可欠なツールになっています。
しかし、そのグローバルな効果は、地域社会と文化の文脈の微妙な理解に依存している。
このギャップに対処するため,グローバルダンスの伝統の中で,言語モデルの文化的理解能力を評価するための総合的なベンチマークNRITYAMを提案する。
NRITYAMは12言語にまたがる9,260の精巧な質問応答ペアで構成されており、ダンスにおける文化的知識を評価するための最大のデータセットとなっている。
このデータセットは、先住民のダンスアーティストや言語母語話者との密接なコラボレーションを通じてゼロから開発され、それぞれの地域固有の文化的に関係のある質問を執筆し、検証している。
我々は,大言語モデル,小言語モデル,多モーダル大言語モデル,小モーダル小言語モデルなど,幅広いモデルの集合を評価する。
NRITYAMは多言語および多文化のベンチマークとして、AIシステムが伝統的な芸能について理解し、推論する能力を評価するための新しい標準を設定している。
詳細なデータセットのサンプルは~\url{https://github.com/niladrighosh03/NRITYAM}で公開されている。
関連論文リスト
- Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。
XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。
我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
論文 参考訳(メタデータ) (2025-11-01T18:41:34Z) - From Facts to Folklore: Evaluating Large Language Models on Bengali Cultural Knowledge [7.322034156204158]
大規模言語モデル(LLM)は,コンテキストが提供されると,文化的知識やパフォーマンスに苦しむことを示す。
我々の研究は、ベンガル語文化知識データセットを通じてこれらの制限に対処し、民俗伝統、料理芸術、地域方言を含む。
複数の多言語言語モデルについて検討したところ、これらのモデルは非文化的カテゴリーでよく機能するが、文化的な知識にかなり苦労し、文脈が提供されると性能が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2025-10-22T21:42:59Z) - DRISHTIKON: A Multimodal Multilingual Benchmark for Testing Language Models' Understanding on Indian Culture [14.681676046750342]
DRISHTIKON(DRISHTIKON)は、インド文化を中心としたマルチモーダルおよび多言語ベンチマークである。
このデータセットは、祭り、服装、料理、芸術形式、歴史遺産を含む豊かな文化的テーマを捉えている。
我々は、オープンソースの小型・大規模モデル、プロプライエタリシステム、推論特化VLM、インデックスにフォーカスしたモデルなど、幅広い視覚言語モデル(VLM)を評価する。
論文 参考訳(メタデータ) (2025-09-23T17:40:43Z) - Grounding Multilingual Multimodal LLMs With Cultural Knowledge [48.95126394270723]
本稿では,MLLMを文化的知識に根ざしたデータ中心型アプローチを提案する。
CulturalGroundは、42の国と39の言語にまたがる2200万の高品質で文化的に豊かなVQAペアで構成されている。
我々は,MLLM CulturalPangeaをCulturalGround上で学習し,汎用性を維持するために,標準の多言語指導訓練データをインターリーブする。
論文 参考訳(メタデータ) (2025-08-10T16:24:11Z) - MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。
モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。
オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
論文 参考訳(メタデータ) (2025-05-27T19:29:40Z) - CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。
CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。
CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
論文 参考訳(メタデータ) (2024-06-10T01:59:00Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。