論文の概要: Visual Aware Hierarchy Based Food Recognition
- arxiv url: http://arxiv.org/abs/2012.03368v1
- Date: Sun, 6 Dec 2020 20:25:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-21 13:56:04.404158
- Title: Visual Aware Hierarchy Based Food Recognition
- Title(参考訳): 視覚認識階層に基づく食品認識
- Authors: Runyu Mao, Jiangpeng He, Zeman Shao, Sri Kalyan Yarlagadda, Fengqing
Zhu
- Abstract要約: 本稿では,コンボリューショナルニューラルネットワーク(CNN)をバックボーンアーキテクチャとして用いた2段階の食品認識システムを提案する。
食品ローカライゼーションのステップは、食品領域を識別するFaster R-CNN法の実装に基づいている。
食品分類工程では、視覚的に類似した食品カテゴリーを自動的にまとめて階層構造を生成することができる。
- 参考スコア(独自算出の注目度): 10.194167945992938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Food recognition is one of the most important components in image-based
dietary assessment. However, due to the different complexity level of food
images and inter-class similarity of food categories, it is challenging for an
image-based food recognition system to achieve high accuracy for a variety of
publicly available datasets. In this work, we propose a new two-step food
recognition system that includes food localization and hierarchical food
classification using Convolutional Neural Networks (CNNs) as the backbone
architecture. The food localization step is based on an implementation of the
Faster R-CNN method to identify food regions. In the food classification step,
visually similar food categories can be clustered together automatically to
generate a hierarchical structure that represents the semantic visual relations
among food categories, then a multi-task CNN model is proposed to perform the
classification task based on the visual aware hierarchical structure. Since the
size and quality of dataset is a key component of data driven methods, we
introduce a new food image dataset, VIPER-FoodNet (VFN) dataset, consists of 82
food categories with 15k images based on the most commonly consumed foods in
the United States. A semi-automatic crowdsourcing tool is used to provide the
ground-truth information for this dataset including food object bounding boxes
and food object labels. Experimental results demonstrate that our system can
significantly improve both classification and recognition performance on 4
publicly available datasets and the new VFN dataset.
- Abstract(参考訳): 食品認識は、画像に基づく食事評価において最も重要な要素の1つである。
しかし,食品画像の複雑さや食品カテゴリのクラス間類似性が異なっており,画像ベースの食品認識システムでは,利用可能なさまざまなデータセットに対して高い精度を実現することが困難である。
本研究では、コンボリューショナルニューラルネットワーク(CNN)をバックボーンアーキテクチャとして用いた、食品のローカライゼーションと階層的な食品分類を含む2段階の食品認識システムを提案する。
食品ローカライゼーションのステップは、食品領域を識別するFaster R-CNN法の実装に基づいている。
食品分類ステップでは、視覚的に類似した食品カテゴリを自動的にクラスタ化して、食品カテゴリ間の意味的視覚関係を表す階層構造を生成し、視覚認識階層構造に基づいて分類タスクを実行するマルチタスクcnnモデルを提案する。
データセットのサイズと品質は、データ駆動方式の重要な要素であるため、米国で最も一般的に消費される食品に基づいて、82の食品カテゴリと15kの画像からなる、新しい食品画像データセットVIPER-FoodNet(VFN)データセットを導入する。
半自動クラウドソーシングツールを使用して、食品オブジェクト境界ボックスや食品オブジェクトラベルを含む、このデータセットの地平情報を提供する。
実験結果から,本システムは4つの公開データセットと新しいVFNデータセットの分類と認識性能を大幅に向上させることができることがわかった。
関連論文リスト
- Personalized Food Image Classification: Benchmark Datasets and New
Baseline [8.019925729254178]
本稿では、自己教師付き学習と時間的特徴情報を活用することにより、個人化された食品画像分類のための新しい枠組みを提案する。
提案手法は両方のベンチマークデータセットで評価され,既存手法と比較して性能が向上した。
論文 参考訳(メタデータ) (2023-09-15T20:11:07Z) - Muti-Stage Hierarchical Food Classification [9.013592803864086]
トレーニングプロセス中に食品を反復的にクラスタリングし,マージすることで,食品分類のための多段階階層的枠組みを提案する。
本手法は,VFN栄養データセットを用いて評価し,食品の種類と食品の分類の両面で既存の研究と比較して有望な結果を得た。
論文 参考訳(メタデータ) (2023-09-03T04:45:44Z) - Diffusion Model with Clustering-based Conditioning for Food Image
Generation [22.154182296023404]
深層学習に基づく手法は、食品分類、セグメンテーション、部分サイズ推定などの画像解析に一般的に用いられている。
潜在的な解決策の1つは、データ拡張に合成食品画像を使用することである。
本稿では,高品質で代表的な食品画像を生成するための効果的なクラスタリングベースのトレーニングフレームワークであるClusDiffを提案する。
論文 参考訳(メタデータ) (2023-09-01T01:40:39Z) - Transferring Knowledge for Food Image Segmentation using Transformers
and Convolutions [65.50975507723827]
食品画像のセグメンテーションは、食品の皿の栄養価を推定するなど、ユビキタスな用途を持つ重要なタスクである。
1つの課題は、食品が重なり合ったり混ざったりし、区別が難しいことだ。
2つのモデルが訓練され、比較される。1つは畳み込みニューラルネットワークに基づくもので、もう1つは画像変換器(BEiT)のための双方向表現に関するものである。
BEiTモデルは、FoodSeg103上の49.4の結合の平均的交点を達成することで、従来の最先端モデルよりも優れている。
論文 参考訳(メタデータ) (2023-06-15T15:38:10Z) - Towards the Creation of a Nutrition and Food Group Based Image Database [58.429385707376554]
栄養・食品群に基づく画像データベースを構築するための枠組みを提案する。
米国農務省食品栄養データベース(FNDDS)における食品群に基づく食品コードリンクプロトコルを設計する。
提案手法は16,114個の食品データセットを含む栄養・食品群に基づく画像データベースを構築するために用いられる。
論文 参考訳(メタデータ) (2022-06-05T02:41:44Z) - Learning Structural Representations for Recipe Generation and Food
Retrieval [101.97397967958722]
本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
提案モデルは高品質でコヒーレントなレシピを作成でき、ベンチマークRecipe1Mデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-10-04T06:36:31Z) - Improving Dietary Assessment Via Integrated Hierarchy Food
Classification [7.398060062678395]
本稿では,複数のドメインからの情報を統合することにより,予測の質を向上させるための新しい食品分類フレームワークを提案する。
本手法は, 改良VIPER-FoodNet (VFN) 食品画像データセットに対して, 関連するエネルギーと栄養情報を含むことにより検証した。
論文 参考訳(メタデータ) (2021-09-06T20:59:58Z) - A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。
これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。
ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
論文 参考訳(メタデータ) (2021-05-12T03:00:07Z) - Structure-Aware Generation Network for Recipe Generation from Images [142.047662926209]
食品画像と材料のみに基づいて調理指導を行うオープン・リサーチ・タスクについて検討する。
ターゲットレシピは長い段落であり、構造情報に関する注釈を持たない。
本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
論文 参考訳(メタデータ) (2020-09-02T10:54:25Z) - ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked
Global-Local Attention Network [50.7720194859196]
ウィキペディアのリストから500のカテゴリと399,726の画像を含むデータセットISIA Food-500を紹介する。
このデータセットは、既存の一般的なベンチマークデータセットをカテゴリカバレッジとデータボリュームで上回る。
食品認識のための2つのサブネットワークからなるグローバルローカルアテンションネットワークを提案する。
論文 参考訳(メタデータ) (2020-08-13T02:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。