論文の概要: A Culturally-Rich Romanian NLP Dataset from "Who Wants to Be a Millionaire?" Videos

• arxiv url: http://arxiv.org/abs/2506.05991v1
• Date: Fri, 06 Jun 2025 11:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.447825
• Title: A Culturally-Rich Romanian NLP Dataset from "Who Wants to Be a Millionaire?" Videos
• Title（参考訳）: ルーマニアのNLPデータセット「Who Wants to Be a Millionaire」
• Authors: Alexandru-Gabriel Ganea, Antonia-Adelina Popovici, Adrian-Marius Dumitran,
• Abstract要約: 大きな言語モデル(LLM)は、言語や文化の文脈で様々なパフォーマンスを示す。 本研究は,ルーマニアのゲームショー "Who Wants to Be a Millionaire?
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) demonstrate varying performance across languages and cultural contexts. This study introduces a novel, culturally-rich, multilingual dataset derived from video recordings of the Romanian game show "Who Wants to Be a Millionaire?" (Vrei s\u{a} fii Milionar?). We employed an innovative process combining optical character recognition (OCR), automated text extraction, and manual verification to collect question-answer pairs, enriching them with metadata including question domain (e.g., biology, history), cultural relevance (Romanian-specific vs. international), and difficulty. Benchmarking state-of-the-art LLMs, including Romanian-adapted models, on this dataset revealed significant performance disparities: models consistently achieve higher accuracy (80-95%) on international questions compared to Romanian-specific cultural questions (50-75%). We further investigate these differences through experiments involving machine translation of Romanian questions into English and cross-lingual tests using a comparable dataset in French. Our findings underscore the impact of cultural context and data source on LLM performance and offer practical insights for building robust, culturally-aware multilingual NLP systems, especially in educational domains. The dataset is publicly available at Hugging Face.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、言語や文化の文脈で様々なパフォーマンスを示す。 本研究は,ルーマニアのゲームショー "Who Wants to Be a Millionaire?" (Vrei s\u{a} fii Milionar? )。 我々は、光学文字認識(OCR)、自動テキスト抽出、手動検証を組み合わせた革新的なプロセスを採用し、質問領域(例えば、生物学、歴史)、文化的関連性(ルーマニア固有の対国際)、難易度などのメタデータを充実させた。 このデータセットでは、ルーマニア固有の文化問題(50-75%)と比較して、常に高い精度(80-95%)を達成している。 さらに、ルーマニア語の質問を英語に機械翻訳する実験と、フランス語で比較したデータセットを用いた言語横断テストにより、これらの違いについて検討する。 文化的文脈とデータソースがLLMのパフォーマンスに与える影響を明らかにするとともに、特に教育領域において、堅牢で文化的に認識された多言語NLPシステムを構築するための実践的な洞察を提供する。 データセットはHugging Faceで公開されている。

関連論文リスト

• From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [57.43233760384488]
  LLM(Large Language Models)における文化的価値の適応は大きな課題である。 これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。 本稿では,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を把握し,事実知識に干渉することを見出した。
  論文  参考訳（メタデータ） (2025-05-22T09:00:01Z)
• Multilingual != Multicultural: Evaluating Gaps Between Multilingual Capabilities and Cultural Alignment in LLMs [2.5212698425008377]
  大規模言語モデル(LLM)は、グローバル言語全体でますます能力を高めつつある。 しかし、言語間のコミュニケーション能力が必ずしも適切な文化的表現に変換されるとは限らない。 GoogleのGemmaモデルとOpenAIのターボシリーズの2つのモデルを比較します。 言語能力と文化的アライメントの間には、一貫した関係は見つからない。
  論文  参考訳（メタデータ） (2025-02-23T11:02:41Z)
• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• "Vorbeşti Româneşte?" A Recipe to Train Powerful Romanian LLMs with English Instructions [40.64721381920061]
  ルーマニア語用にカスタマイズされたオープンソースのLLMを収集、翻訳し、評価し、リリースするのはこれが初めてです。 我々は,RoLLMsの有用性と高い性能について,各ボードにまたがって最先端の結果を得ることによって論じる。
  論文  参考訳（メタデータ） (2024-06-26T11:39:51Z)
• Evaluating Visual and Cultural Interpretation: The K-Viscuit Benchmark with Human-VLM Collaboration [31.684544472009918]
  本稿では、文化的なVLMベンチマークを構築するための半ハンギングフレームワークを提案し、特にマルチチョイスQAを対象としている。 このフレームワークは人間とVLMのコラボレーションを組み合わせ、VLMはガイドライン、注釈付きサンプルの小さなセット、関連する知識に基づいて質問を生成し、続いてネイティブスピーカーによる検証プロセスを実行する。
  論文  参考訳（メタデータ） (2024-06-24T09:18:15Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
  大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」 我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-05-22T20:19:10Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。