論文の概要: What are Foundation Models Cooking in the Post-Soviet World?

• arxiv url: http://arxiv.org/abs/2502.18583v1
• Date: Tue, 25 Feb 2025 19:09:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:58:07.710233
• Title: What are Foundation Models Cooking in the Post-Soviet World?
• Title（参考訳）: ソ連後の世界におけるファンデーションモデルとは何か?
• Authors: Anton Lavrouk, Tarek Naous, Alan Ritter, Wei Xu,
• Abstract要約: ソ連後を中心に、ロシア語とウクライナ語で1147と823の料理のデータセットであるBORSchを構築した。 我々は,ソ連後諸国の料理の起源を,テキストのみとマルチモーダル質問回答(QA)の両方で正確に識別する上で,先行モデルが困難であることを実証した。 これらの結果は,ウクライナの食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器・食器の混用などの言語的現象を誤解して説明できることを示す。
• 参考スコア（独自算出の注目度）: 20.369960414921533
• License:
• Abstract: The culture of the Post-Soviet states is complex, shaped by a turbulent history that continues to influence current events. In this study, we investigate the Post-Soviet cultural food knowledge of foundation models by constructing BORSch, a multimodal dataset encompassing 1147 and 823 dishes in the Russian and Ukrainian languages, centered around the Post-Soviet region. We demonstrate that leading models struggle to correctly identify the origins of dishes from Post-Soviet nations in both text-only and multimodal Question Answering (QA), instead over-predicting countries linked to the language the question is asked in. Through analysis of pretraining data, we show that these results can be explained by misleading dish-origin co-occurrences, along with linguistic phenomena such as Russian-Ukrainian code mixing. Finally, to move beyond QA-based assessments, we test models' abilities to produce accurate visual descriptions of dishes. The weak correlation between this task and QA suggests that QA alone may be insufficient as an evaluation of cultural understanding. To foster further research, we will make BORSch publicly available at https://github.com/alavrouk/BORSch.
• Abstract（参考訳）: ソ連後州の文化は複雑で、現在の出来事に影響を与え続けている乱史によって形作られた。 本研究では,ロシアとウクライナの1147と823の料理を包含するマルチモーダルデータセットであるBORSchを,ソ連後を中心に構築し,基礎モデルのポストソヴィエト文化食品知識について検討した。 我々は,ソ連後諸国の料理の起源を,テキストのみとマルチモーダルな質問回答(QA)の両方で正確に識別する上で,先行モデルが困難であることを実証した。 事前学習データの解析により,これらの結果は,ロシアとウクライナのコードミキシングのような言語現象とともに,食器・オリジンの共起を誤解させることによって説明できることを示した。 最後に、QAに基づく評価を超えて、正確な食器の視覚的記述を生成するモデルの能力をテストする。 この課題とQAとの相関が弱いことから,QAだけでは文化的理解の評価には不十分である可能性が示唆された。 さらなる研究を促進するため、BORSchをhttps://github.com/alavrouk/BORSchで公開します。

関連論文リスト

• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• FoodieQA: A Multimodal Dataset for Fine-Grained Understanding of Chinese Food Culture [60.51749998013166]
  中国各地の食文化の複雑な特徴を,手作業でキュレートした,きめ細かい画像テキストデータセットであるFoodieQAを紹介した。 視覚言語モデル(VLM)と大規模言語モデル(LLM)を,新たに収集した未確認食品画像およびそれに対応する質問に対して評価する。 以上の結果から,食品とその文化的意味の理解は依然として困難かつ未解明の方向にあることが示唆された。
  論文  参考訳（メタデータ） (2024-06-16T17:59:32Z)
• BertaQA: How Much Do Language Models Know About Local Culture? [33.27901483916244]
  本稿では,英語とバスク語に平行なトリビアデータセットであるBertaQAを紹介する。 データセットは、バスク文化に関連する質問のあるローカルサブセットと、より広い関心を持つ質問を持つグローバルサブセットで構成されている。 バスク語での事前学習は、英語で質問しても、バスク語文化におけるモデルのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-06-11T14:30:34Z)
• MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs [6.781972039785424]
  生成的大規模言語モデル(LLM)は有害なバイアスやステレオタイプを示すことが示されている。 MBBQは、オランダ語、スペイン語、トルコ語でよく見られるステレオタイプを測定するデータセットである。 その結果、文化的な変化を抑えながら、英語以外の言語では、英語よりも偏見に悩まされていることが確認された。
  論文  参考訳（メタデータ） (2024-06-11T13:23:14Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• Can I Trust Your Answer? Visually Grounded Video Question Answering [88.11169242115416]
  本稿では,ビデオ言語理解のための事前学習技術を活用したビデオQAについて検討する。 NExT-GQA - NExT-QAの拡張で、10.5$K$の時間的グラウンドラベルを元のQAペアに結び付ける。
  論文  参考訳（メタデータ） (2023-09-04T03:06:04Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)
• AmQA: Amharic Question Answering Dataset [8.509075718695492]
  質問回答 (QA) は、文脈文書が与えられた自然言語テキストから簡潔な回答や回答リストを返します。 Amharic QAデータセットは公開されていない。 われわれは2628件のウィキペディア記事をクラウドソーシングした。
  論文  参考訳（メタデータ） (2023-03-06T17:06:50Z)
• CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
  CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。 このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
  論文  参考訳（メタデータ） (2022-06-06T09:11:03Z)
• A-OKVQA: A Benchmark for Visual Question Answering using World Knowledge [39.788346536244504]
  A-OKVQAは、約25万の質問からなるクラウドソーシングデータセットである。 我々は、この新たなデータセットの可能性について、その内容の詳細な分析を通して示す。
  論文  参考訳（メタデータ） (2022-06-03T17:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。