論文の概要: Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition

• arxiv url: http://arxiv.org/abs/2504.06925v1
• Date: Wed, 09 Apr 2025 14:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:07:27.255548
• Title: Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
• Title（参考訳）: 食生活評価のためのビジョンランゲージモデルの検討 : AIを活用した食品画像認識の次のフロンティアを探る
• Authors: Sergio Romero-Tapiador, Ruben Tolosana, Blanca Lacruz-Pleguezuelos, Laura Judith Marcos Zambrano, Guadalupe X. Bazán, Isabel Espinosa-Salinas, Julian Fierrez, Javier Ortega-Garcia, Enrique Carrillo de Santa Pau, Aythami Morales,
• Abstract要約: VLM(Vision-Language Models)は、視覚的およびテキスト的推論を統合することで、新たな可能性を提供する。 本研究では,6種類の最先端VLMを評価し,その食品認識能力について異なるレベルで分析した。 実験フレームワークとして,9,263個の専門家ラベル付き画像を含むユニークな食品画像データベースであるFoodNExTDBを紹介する。
• 参考スコア（独自算出の注目度）: 14.56988768403406
• License:
• Abstract: Automatic dietary assessment based on food images remains a challenge, requiring precise food detection, segmentation, and classification. Vision-Language Models (VLMs) offer new possibilities by integrating visual and textual reasoning. In this study, we evaluate six state-of-the-art VLMs (ChatGPT, Gemini, Claude, Moondream, DeepSeek, and LLaVA), analyzing their capabilities in food recognition at different levels. For the experimental framework, we introduce the FoodNExTDB, a unique food image database that contains 9,263 expert-labeled images across 10 categories (e.g., "protein source"), 62 subcategories (e.g., "poultry"), and 9 cooking styles (e.g., "grilled"). In total, FoodNExTDB includes 50k nutritional labels generated by seven experts who manually annotated all images in the database. Also, we propose a novel evaluation metric, Expert-Weighted Recall (EWR), that accounts for the inter-annotator variability. Results show that closed-source models outperform open-source ones, achieving over 90% EWR in recognizing food products in images containing a single product. Despite their potential, current VLMs face challenges in fine-grained food recognition, particularly in distinguishing subtle differences in cooking styles and visually similar food items, which limits their reliability for automatic dietary assessment. The FoodNExTDB database is publicly available at https://github.com/AI4Food/FoodNExtDB.
• Abstract（参考訳）: 食品画像に基づく食事の自動評価は依然として課題であり、正確な食品検出、セグメンテーション、分類が必要である。 VLM(Vision-Language Models)は、視覚的およびテキスト的推論を統合することで、新たな可能性を提供する。 本研究では,6種類の最先端VLM(ChatGPT,Gemini,Claude,Moondream,DeepSeek,LLaVA)を評価し,異なるレベルでの食品認識能力の解析を行った。 実験の枠組みとして,10のカテゴリ(例えばタンパク質源),62のサブカテゴリ(eg,poultry),9の調理スタイル(eg,grilled)にわたる9,263のエキスパートラベル付き画像を含む,ユニークな食品画像データベースであるFoodNExTDBを紹介した。 合計で、FoodNExTDBには、データベース内のすべての画像を手動で注釈付けした7人の専門家によって生成される50万の栄養ラベルが含まれている。 また,新たな評価指標であるExpert-Weighted Recall (EWR)を提案する。 その結果、クローズドソースモデルはオープンソースモデルよりも優れており、1つの製品を含む画像における食品の認識において90%以上のEWRを達成した。 その可能性にもかかわらず、現在のVLMは、特に料理スタイルと視覚的に類似した食品の微妙な相違を区別し、食事の自動評価の信頼性を制限している。 FoodNExTDBデータベースはhttps://github.com/AI4Food/FoodNExtDBで公開されている。

関連論文リスト

• Shape-Preserving Generation of Food Images for Automatic Dietary Assessment [1.602820210496921]
  条件付き食品画像生成のための簡単なGANベースのニューラルネットワークアーキテクチャを提案する。 生成された画像中の食品や容器の形状は、参照入力画像の形状とよく似ている。
  論文  参考訳（メタデータ） (2024-08-23T20:18:51Z)
• FoodieQA: A Multimodal Dataset for Fine-Grained Understanding of Chinese Food Culture [60.51749998013166]
  中国各地の食文化の複雑な特徴を,手作業でキュレートした,きめ細かい画像テキストデータセットであるFoodieQAを紹介した。 視覚言語モデル(VLM)と大規模言語モデル(LLM)を,新たに収集した未確認食品画像およびそれに対応する質問に対して評価する。 以上の結果から,食品とその文化的意味の理解は依然として困難かつ未解明の方向にあることが示唆された。
  論文  参考訳（メタデータ） (2024-06-16T17:59:32Z)
• From Canteen Food to Daily Meals: Generalizing Food Recognition to More Practical Scenarios [92.58097090916166]
  DailyFood-172とDailyFood-16という2つの新しいベンチマークを、毎日の食事から食のイメージをキュレートする。 これらの2つのデータセットは、よく計算された食品画像領域から日常的な食品画像領域へのアプローチの伝達性を評価するために使用される。
  論文  参考訳（メタデータ） (2024-03-12T08:32:23Z)
• NutritionVerse-Real: An Open Access Manually Collected 2D Food Scene Dataset for Dietary Intake Estimation [68.49526750115429]
  食事摂取推定のための2D食品シーンデータセットであるNutritionVerse-Realを導入する。 NutritionVerse-Realデータセットは、実生活における食品シーンのイメージを手作業で収集し、各成分の重量を測定し、各料理の食生活内容を計算することによって作成されました。
  論文  参考訳（メタデータ） (2023-11-20T11:05:20Z)
• NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches [59.38343165508926]
  食事の正確な摂取推定は、健康的な食事を支援するための政策やプログラムを伝える上で重要である。 最近の研究は、コンピュータービジョンと機械学習を使用して、食物画像から食事摂取を自動的に推定することに焦点を当てている。 我々は,84,984個の合成2D食品画像と関連する食事情報を用いた最初の大規模データセットであるNutritionVerse-Synthを紹介した。 また、リアルなイメージデータセットであるNutritionVerse-Realを収集し、リアル性を評価するために、251の料理の889のイメージを含む。
  論文  参考訳（メタデータ） (2023-09-14T13:29:41Z)
• UMDFood: Vision-language models boost food composition compilation [26.5694236976957]
  本稿では, 食品組成プロファイルを正確に推定するために, フロント・オブ・パッケージ・ラベリングと製品画像を用いた新しい視覚言語モデル, UMDFood-VLを提案する。 化学分析結果とモデル推定結果の誤差の最大82.2%は10%未満である。 この性能は、他の食品および栄養関連データコンパイルと触媒化への一般化に光を当てている。
  論文  参考訳（メタデータ） (2023-05-18T03:18:12Z)
• Towards the Creation of a Nutrition and Food Group Based Image Database [58.429385707376554]
  栄養・食品群に基づく画像データベースを構築するための枠組みを提案する。 米国農務省食品栄養データベース(FNDDS)における食品群に基づく食品コードリンクプロトコルを設計する。 提案手法は16,114個の食品データセットを含む栄養・食品群に基づく画像データベースを構築するために用いられる。
  論文  参考訳（メタデータ） (2022-06-05T02:41:44Z)
• A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
  我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。 これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。 ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
  論文  参考訳（メタデータ） (2021-05-12T03:00:07Z)
• Saliency-Aware Class-Agnostic Food Image Segmentation [10.664526852464812]
  クラス別食品画像分割法を提案する。 画像の前後の情報を利用すれば、目立たないオブジェクトを見つけることで、食べ物のイメージをセグメンテーションすることができる。 本手法は,食餌研究から収集した食品画像を用いて検証する。
  論文  参考訳（メタデータ） (2021-02-13T08:05:19Z)
• An End-to-End Food Image Analysis System [8.622335099019214]
  食品の局所化, 分類, 部分サイズ推定を統合した画像に基づく食品分析フレームワークを提案する。 提案するフレームワークはエンドツーエンドであり,複数の食品を含む任意の食品画像として入力することができる。 本研究の枠組みは,栄養摂食調査から収集した実生活食品画像データセットを用いて評価する。
  論文  参考訳（メタデータ） (2021-02-01T05:36:20Z)
• MyFood: A Food Segmentation and Classification System to Aid Nutritional Monitoring [1.5469452301122173]
  食料モニタリングの欠如は、人口の体重増加に大きく寄与している。 食品画像を認識するためにコンピュータビジョンでいくつかのソリューションが提案されているが、栄養モニタリングに特化しているものはほとんどない。 本研究は, ユーザの食事と栄養摂取の自動モニタリングを支援するために, 画像に提示された食品を分類・分別するインテリジェントシステムの開発について述べる。
  論文  参考訳（メタデータ） (2020-12-05T17:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。