論文の概要: A Culturally-Rich Romanian NLP Dataset from "Who Wants to Be a Millionaire?" Videos

• arxiv url: http://arxiv.org/abs/2506.05991v1
• Date: Fri, 06 Jun 2025 11:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.447825
• Title: A Culturally-Rich Romanian NLP Dataset from "Who Wants to Be a Millionaire?" Videos
• Title（参考訳）: ルーマニアのNLPデータセット「Who Wants to Be a Millionaire」
• Authors: Alexandru-Gabriel Ganea, Antonia-Adelina Popovici, Adrian-Marius Dumitran,
• Abstract要約: 大きな言語モデル(LLM)は、言語や文化の文脈で様々なパフォーマンスを示す。 本研究は,ルーマニアのゲームショー "Who Wants to Be a Millionaire?
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) demonstrate varying performance across languages and cultural contexts. This study introduces a novel, culturally-rich, multilingual dataset derived from video recordings of the Romanian game show "Who Wants to Be a Millionaire?" (Vrei s\u{a} fii Milionar?). We employed an innovative process combining optical character recognition (OCR), automated text extraction, and manual verification to collect question-answer pairs, enriching them with metadata including question domain (e.g., biology, history), cultural relevance (Romanian-specific vs. international), and difficulty. Benchmarking state-of-the-art LLMs, including Romanian-adapted models, on this dataset revealed significant performance disparities: models consistently achieve higher accuracy (80-95%) on international questions compared to Romanian-specific cultural questions (50-75%). We further investigate these differences through experiments involving machine translation of Romanian questions into English and cross-lingual tests using a comparable dataset in French. Our findings underscore the impact of cultural context and data source on LLM performance and offer practical insights for building robust, culturally-aware multilingual NLP systems, especially in educational domains. The dataset is publicly available at Hugging Face.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、言語や文化の文脈で様々なパフォーマンスを示す。 本研究は,ルーマニアのゲームショー "Who Wants to Be a Millionaire?" (Vrei s\u{a} fii Milionar? )。 我々は、光学文字認識(OCR)、自動テキスト抽出、手動検証を組み合わせた革新的なプロセスを採用し、質問領域(例えば、生物学、歴史)、文化的関連性(ルーマニア固有の対国際)、難易度などのメタデータを充実させた。 このデータセットでは、ルーマニア固有の文化問題(50-75%)と比較して、常に高い精度(80-95%)を達成している。 さらに、ルーマニア語の質問を英語に機械翻訳する実験と、フランス語で比較したデータセットを用いた言語横断テストにより、これらの違いについて検討する。 文化的文脈とデータソースがLLMのパフォーマンスに与える影響を明らかにするとともに、特に教育領域において、堅牢で文化的に認識された多言語NLPシステムを構築するための実践的な洞察を提供する。 データセットはHugging Faceで公開されている。

関連論文リスト

• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• "Vorbeşti Româneşte?" A Recipe to Train Powerful Romanian LLMs with English Instructions [40.64721381920061]
  ルーマニア語用にカスタマイズされたオープンソースのLLMを収集、翻訳し、評価し、リリースするのはこれが初めてです。 我々は,RoLLMsの有用性と高い性能について,各ボードにまたがって最先端の結果を得ることによって論じる。
  論文  参考訳（メタデータ） (2024-06-26T11:39:51Z)
• Evaluating Visual and Cultural Interpretation: The K-Viscuit Benchmark with Human-VLM Collaboration [31.684544472009918]
  本稿では、文化的なVLMベンチマークを構築するための半ハンギングフレームワークを提案し、特にマルチチョイスQAを対象としている。 このフレームワークは人間とVLMのコラボレーションを組み合わせ、VLMはガイドライン、注釈付きサンプルの小さなセット、関連する知識に基づいて質問を生成し、続いてネイティブスピーカーによる検証プロセスを実行する。
  論文  参考訳（メタデータ） (2024-06-24T09:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。