論文の概要: Multi-Task Learning for Calorie Prediction on a Novel Large-Scale Recipe Dataset Enriched with Nutritional Information

• arxiv url: http://arxiv.org/abs/2011.01082v1
• Date: Mon, 2 Nov 2020 16:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 12:23:34.680362
• Title: Multi-Task Learning for Calorie Prediction on a Novel Large-Scale Recipe Dataset Enriched with Nutritional Information
• Title（参考訳）: 栄養情報に富んだ新しい大規模レシピデータセットのカロリー予測のためのマルチタスク学習
• Authors: Robin Ruede, Verena Heusser, Lukas Frank, Alina Roitberg, Monica Haurilet, Rainer Stiefelhagen
• Abstract要約: 本研究は,インターネット上でのレシピの学習により,画像から直接食事のカロリー量を推定することを目的とする。 写真,材料,指示を含む70,000以上のレシピから308,000枚の画像からなるpic2kcalベンチマークを提案する。 実験により, マルチタスク学習によるカロリー推定のメリットが明らかとなり, シングルタスクのカロリー回帰を9.9%上回った。
• 参考スコア（独自算出の注目度）: 25.646488178514186
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A rapidly growing amount of content posted online, such as food recipes, opens doors to new exciting applications at the intersection of vision and language. In this work, we aim to estimate the calorie amount of a meal directly from an image by learning from recipes people have published on the Internet, thus skipping time-consuming manual data annotation. Since there are few large-scale publicly available datasets captured in unconstrained environments, we propose the pic2kcal benchmark comprising 308,000 images from over 70,000 recipes including photographs, ingredients and instructions. To obtain nutritional information of the ingredients and automatically determine the ground-truth calorie value, we match the items in the recipes with structured information from a food item database. We evaluate various neural networks for regression of the calorie quantity and extend them with the multi-task paradigm. Our learning procedure combines the calorie estimation with prediction of proteins, carbohydrates, and fat amounts as well as a multi-label ingredient classification. Our experiments demonstrate clear benefits of multi-task learning for calorie estimation, surpassing the single-task calorie regression by 9.9%. To encourage further research on this task, we make the code for generating the dataset and the models publicly available.
• Abstract（参考訳）: 食べ物のレシピなど、オンラインで投稿されるコンテンツの急増は、視覚と言語の交差点で新しいエキサイティングなアプリケーションへの扉を開く。 本研究では,インターネット上で公開されているレシピから学習することで,画像から食事のカロリー量を直接推定することを目的として,時間を要する手動データアノテーションを省略する。 制約のない環境で取得可能な大規模データセットは少ないため,写真や材料,指示など7万以上のレシピから,308,000枚の画像を含むpic2kcalベンチマークを提案する。 原料の栄養情報を取得し,地味のカロリー値を自動的に決定するために,レシピ中の成分と食品データベースからの構造化情報とをマッチングする。 様々なニューラルネットワークを用いて、カロリーのレグレッションを評価し、マルチタスクパラダイムで拡張する。 本手法は, カロリー推定とタンパク質, 炭水化物, 脂肪量の予測を併用し, 多ラベル成分の分類を行う。 本実験は, マルチタスク学習によるカロリー推定の利点を明らかにし, シングルタスクのカロリー回帰を9.9%上回った。 このタスクのさらなる研究を奨励するため、データセットを生成するためのコードとモデルを公開する。

関連論文リスト

• NutritionVerse-Real: An Open Access Manually Collected 2D Food Scene Dataset for Dietary Intake Estimation [68.49526750115429]
  食事摂取推定のための2D食品シーンデータセットであるNutritionVerse-Realを導入する。 NutritionVerse-Realデータセットは、実生活における食品シーンのイメージを手作業で収集し、各成分の重量を測定し、各料理の食生活内容を計算することによって作成されました。
  論文  参考訳（メタデータ） (2023-11-20T11:05:20Z)
• NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches [59.38343165508926]
  食事の正確な摂取推定は、健康的な食事を支援するための政策やプログラムを伝える上で重要である。 最近の研究は、コンピュータービジョンと機械学習を使用して、食物画像から食事摂取を自動的に推定することに焦点を当てている。 我々は,84,984個の合成2D食品画像と関連する食事情報を用いた最初の大規模データセットであるNutritionVerse-Synthを紹介した。 また、リアルなイメージデータセットであるNutritionVerse-Realを収集し、リアル性を評価するために、251の料理の889のイメージを含む。
  論文  参考訳（メタデータ） (2023-09-14T13:29:41Z)
• Calorie Aware Automatic Meal Kit Generation from an Image [7.170180366236038]
  単一の調理画像から、カロリー推定と食事再現のためのパイプラインを提案する。 このモデルで導入されたポーション推定は、カロリー推定を改善するのに役立ち、異なるサービスサイズでの食事の再生産にも有用である。
  論文  参考訳（メタデータ） (2021-12-18T04:16:12Z)
• A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
  我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。 これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。 ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
  論文  参考訳（メタデータ） (2021-05-12T03:00:07Z)
• Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning [17.42688184238741]
  近年, 生活における食品の重要性から, クロスモーダルなレシピ検索が注目されている。 本稿では,テキストおよび画像のエンコーダの確立と高性能化に基づく,簡易なエンド・ツー・エンドモデルを提案する。 提案手法は,Recipe1Mデータセットのクロスモーダルレシピ検索タスクにおける最新性能を実現する。
  論文  参考訳（メタデータ） (2021-03-24T10:17:09Z)
• Structure-Aware Generation Network for Recipe Generation from Images [142.047662926209]
  食品画像と材料のみに基づいて調理指導を行うオープン・リサーチ・タスクについて検討する。 ターゲットレシピは長い段落であり、構造情報に関する注釈を持たない。 本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-02T10:54:25Z)
• Multi-modal Cooking Workflow Construction for Food Recipes [147.4435186953995]
  ワークフロー構築のための最初の大規模データセットであるMM-ReSを構築した。 本稿では、視覚情報とテキスト情報の両方を利用して調理ワークフローを構築するニューラルエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-20T18:31:25Z)
• Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation [6.603050343996914]
  本稿では,食品分類と食品部分サイズ推定の両立が可能なエンドツーエンドマルチタスクフレームワークを提案する。 本結果は,分類精度と部分推定の平均絶対誤差の両方において,ベースライン法より優れる。
  論文  参考訳（メタデータ） (2020-04-27T21:35:07Z)
• Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
  画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。 本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。 食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
  論文  参考訳（メタデータ） (2020-03-09T07:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。