論文の概要: FoodieQA: A Multimodal Dataset for Fine-Grained Understanding of Chinese Food Culture

• arxiv url: http://arxiv.org/abs/2406.11030v2
• Date: Mon, 30 Sep 2024 09:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:00:19.451085
• Title: FoodieQA: A Multimodal Dataset for Fine-Grained Understanding of Chinese Food Culture
• Title（参考訳）: FoodieQA:中国食文化の細粒度理解のためのマルチモーダルデータセット
• Authors: Wenyan Li, Xinyu Zhang, Jiaang Li, Qiwei Peng, Raphael Tang, Li Zhou, Weijia Zhang, Guimin Hu, Yifei Yuan, Anders Søgaard, Daniel Hershcovich, Desmond Elliott,
• Abstract要約: 中国各地の食文化の複雑な特徴を,手作業でキュレートした,きめ細かい画像テキストデータセットであるFoodieQAを紹介した。 視覚言語モデル(VLM)と大規模言語モデル(LLM)を,新たに収集した未確認食品画像およびそれに対応する質問に対して評価する。 以上の結果から,食品とその文化的意味の理解は依然として困難かつ未解明の方向にあることが示唆された。
• 参考スコア（独自算出の注目度）: 60.51749998013166
• License:
• Abstract: Food is a rich and varied dimension of cultural heritage, crucial to both individuals and social groups. To bridge the gap in the literature on the often-overlooked regional diversity in this domain, we introduce FoodieQA, a manually curated, fine-grained image-text dataset capturing the intricate features of food cultures across various regions in China. We evaluate vision-language Models (VLMs) and large language models (LLMs) on newly collected, unseen food images and corresponding questions. FoodieQA comprises three multiple-choice question-answering tasks where models need to answer questions based on multiple images, a single image, and text-only descriptions, respectively. While LLMs excel at text-based question answering, surpassing human accuracy, the open-sourced VLMs still fall short by 41% on multi-image and 21% on single-image VQA tasks, although closed-weights models perform closer to human levels (within 10%). Our findings highlight that understanding food and its cultural implications remains a challenging and under-explored direction.
• Abstract（参考訳）: 食品は豊かな文化的遺産であり、個人と社会団体の両方にとって不可欠である。 そこで本研究では,中国各地の食文化の複雑な特徴を手作業で収集した,きめ細かな画像テキストデータセットであるFoodieQAを紹介した。 視覚言語モデル(VLM)と大規模言語モデル(LLM)を,新たに収集した未確認食品画像およびそれに対応する質問に対して評価する。 FoodieQAは、複数の画像と1つの画像とテキストのみの記述に基づいて、モデルがそれぞれ質問に答える必要がある3つの多重選択質問回答タスクで構成されている。 LLMはテキストベースの質問応答に優れ、人間の精度を上回るが、オープンソースのVLMはマルチイメージでは41%、シングルイメージのVQAタスクでは21%が不足している。 以上の結果から,食品とその文化的意味の理解は依然として困難かつ未解明の方向にあることが示唆された。

関連論文リスト

• FoodSky: A Food-oriented Large Language Model that Passes the Chef and Dietetic Examination [37.11551779015218]
  食品データを理解するために食品指向の大規模言語モデル(LLM)を導入する。 中国料理の複雑さと典型性を考えると、我々はまず1つの総合的な中華料理コーパス「FoodEarth」を構築した。 そこで我々は,HTRAG(Herarchical Topic Retrieval Augmented Generation)機構とTS3M(Selective State Space Model)を提案する。
  論文  参考訳（メタデータ） (2024-06-11T01:27:00Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.40505206535077]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化主導のイメージと4大陸28カ国からの質問が含まれており、26の言語と11のスクリプトをカバーし、合計9kの質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• FoodLMM: A Versatile Food Assistant using Large Multi-modal Model [96.76271649854542]
  大規模マルチモーダルモデル(LMM)は多くの視覚言語タスクにおいて顕著な進歩を遂げている。 本稿では,多機能なLMMに基づく多目的食品アシスタントであるFoodLMMを提案する。 本稿では,食品の栄養価と複数のセグメンテーションマスクを予測するために,一連の新しいタスク固有のトークンとヘッドを導入する。
  論文  参考訳（メタデータ） (2023-12-22T11:56:22Z)
• Transferring Knowledge for Food Image Segmentation using Transformers and Convolutions [65.50975507723827]
  食品画像のセグメンテーションは、食品の皿の栄養価を推定するなど、ユビキタスな用途を持つ重要なタスクである。 1つの課題は、食品が重なり合ったり混ざったりし、区別が難しいことだ。 2つのモデルが訓練され、比較される。1つは畳み込みニューラルネットワークに基づくもので、もう1つは画像変換器(BEiT)のための双方向表現に関するものである。 BEiTモデルは、FoodSeg103上の49.4の結合の平均的交点を達成することで、従来の最先端モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-06-15T15:38:10Z)
• A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
  我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。 これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。 ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
  論文  参考訳（メタデータ） (2021-05-12T03:00:07Z)
• CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval [20.292467149387594]
  本稿では,食品画像検索と検索タスクにおける画像とテキストの潜伏表現を協調的にモデル化する,新たなクロスモーダル学習フレームワークを提案する。 本研究では,効率的な木構造長短期記憶を計算クロスモーダル検索フレームワークのテキストエンコーダとして利用することにより,レシピ記述の主成分や調理動作を明示的な監督なしに識別できることを実証した。
  論文  参考訳（メタデータ） (2021-02-04T11:24:34Z)
• Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
  画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。 本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。 食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
  論文  参考訳（メタデータ） (2020-03-09T07:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。