論文の概要: Deep Image-to-Recipe Translation
- arxiv url: http://arxiv.org/abs/2407.00911v1
- Date: Mon, 1 Jul 2024 02:33:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 01:07:34.796225
- Title: Deep Image-to-Recipe Translation
- Title（参考訳）: 深層画像からレシピへの翻訳
- Authors: Jiangqin Ma, Bilal Mawji, Franz Williams,
- Abstract要約: Deep Image-to-Recipe Translation(ディープ・イメージ・ツー・レシピ・トランスレーション)は、鮮やかな食品記憶と料理作りの技法のギャップを埋めることを目的としている。
我々の主な目的は、所定の食品画像から成分を予測することである。
我々のアプローチは、正確性だけで誤解を招く可能性のあるシナリオにおいて、IoU(Intersection over Union)やF1スコアのようなメトリクスの重要性を強調します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The modern saying, "You Are What You Eat" resonates on a profound level, reflecting the intricate connection between our identities and the food we consume. Our project, Deep Image-to-Recipe Translation, is an intersection of computer vision and natural language generation that aims to bridge the gap between cherished food memories and the art of culinary creation. Our primary objective involves predicting ingredients from a given food image. For this task, we first develop a custom convolutional network and then compare its performance to a model that leverages transfer learning. We pursue an additional goal of generating a comprehensive set of recipe steps from a list of ingredients. We frame this process as a sequence-to-sequence task and develop a recurrent neural network that utilizes pre-trained word embeddings. We address several challenges of deep learning including imbalanced datasets, data cleaning, overfitting, and hyperparameter selection. Our approach emphasizes the importance of metrics such as Intersection over Union (IoU) and F1 score in scenarios where accuracy alone might be misleading. For our recipe prediction model, we employ perplexity, a commonly used and important metric for language models. We find that transfer learning via pre-trained ResNet-50 weights and GloVe embeddings provide an exceptional boost to model performance, especially when considering training resource constraints. Although we have made progress on the image-to-recipe translation, there is an opportunity for future exploration with advancements in model architectures, dataset scalability, and enhanced user interaction.
- Abstract（参考訳）: 現代の言葉である"You Are What You Eat"は、私たちのアイデンティティと私たちが消費する食べ物との間の複雑なつながりを反映して、深いレベルで共鳴している。
我々のプロジェクトであるDeep Image-to-Recipe Translationは、コンピュータビジョンと自然言語生成の交差点であり、鮮やかな食品記憶と料理の創造技術とのギャップを埋めることを目的としています。
我々の主な目的は、所定の食品画像から成分を予測することである。
そこで,我々はまず独自の畳み込みネットワークを開発し,その性能を伝達学習を利用したモデルと比較する。
食材リストから包括的なレシピのステップを生成するという,新たな目標を追求する。
このプロセスはシーケンス・ツー・シーケンス・タスクとしてフレーム化され,事前学習した単語の埋め込みを利用したリカレントニューラルネットワークを開発する。
不均衡なデータセット、データのクリーニング、オーバーフィッティング、ハイパーパラメータ選択など、ディープラーニングの課題に対処する。
我々のアプローチは、正確性だけで誤解を招く可能性のあるシナリオにおいて、IoU(Intersection over Union)やF1スコアのようなメトリクスの重要性を強調します。
レシピ予測モデルでは、一般的に使われている言語モデルにとって重要な指標であるパープレキシティ(perplexity)を用いる。
事前訓練されたResNet-50重みとGloVe埋め込みによる転送学習は,特にトレーニングリソース制約を考慮した場合,モデル性能を著しく向上させることがわかった。
我々は、画像からレシピへの変換を進歩させてきましたが、モデルアーキテクチャ、データセットのスケーラビリティ、ユーザーインタラクションの強化など、将来の探求の機会があります。
関連論文リスト
- Retrieval Augmented Recipe Generation [96.43285670458803]
本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。
既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。
生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
論文 参考訳（メタデータ） (2024-11-13T15:58:50Z) - ChefFusion: Multimodal Foundation Model Integrating Recipe and Food Image Generation [19.704975821172315]
我々は,真のマルチモーダル性を実現する新しい食品コンピューティング基盤モデルを導入する。
大規模言語モデル(LLM)と事前訓練された画像エンコーダおよびデコーダモデルを活用することで、我々のモデルはさまざまな食品コンピューティング関連のタスクを実行することができる。
論文 参考訳（メタデータ） (2024-09-18T14:24:29Z) - Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳（メタデータ） (2024-03-12T06:29:54Z) - FIRE: Food Image to REcipe generation [10.45344523054623]
フードコンピューティングは、食品画像のレシピ情報を自律的に生成できるエンドツーエンドのインテリジェントシステムを開発することを目的としている。
本稿では,食品コンピューティング分野におけるレシピ生成に適した新しい手法であるFIREを提案する。
本稿では、FIREと大規模言語モデルのプロンプトを統合することの恩恵を享受できる2つの実用的なアプリケーションを紹介する。
論文 参考訳（メタデータ） (2023-08-28T08:14:20Z) - Transferring Knowledge for Food Image Segmentation using Transformers
and Convolutions [65.50975507723827]
食品画像のセグメンテーションは、食品の皿の栄養価を推定するなど、ユビキタスな用途を持つ重要なタスクである。
1つの課題は、食品が重なり合ったり混ざったりし、区別が難しいことだ。
2つのモデルが訓練され、比較される。1つは畳み込みニューラルネットワークに基づくもので、もう1つは画像変換器(BEiT)のための双方向表現に関するものである。
BEiTモデルは、FoodSeg103上の49.4の結合の平均的交点を達成することで、従来の最先端モデルよりも優れている。
論文 参考訳（メタデータ） (2023-06-15T15:38:10Z) - Recipe2Vec: Multi-modal Recipe Representation Learning with Graph Neural
Networks [23.378813327724686]
マルチモーダルなレシピ表現学習の問題を形式化し、視覚的、テキスト的、リレーショナルな情報をレシピの埋め込みに統合する。
まず、50万以上のノードを持つ新しいレシピグラフデータであるLarge-RGを紹介した。
次に、新しいグラフニューラルネットワークに基づくレシピ埋め込みモデルであるRecipe2Vecを提案し、マルチモーダル情報をキャプチャする。
論文 参考訳（メタデータ） (2022-05-24T23:04:02Z) - Learning Co-segmentation by Segment Swapping for Retrieval and Discovery [67.6609943904996]
この研究の目的は、一対のイメージから視覚的に類似したパターンを効率的に識別することである。
画像中のオブジェクトセグメントを選択し、それを別の画像にコピーペーストすることで、合成トレーニングペアを生成する。
提案手法は,Brueghelデータセット上でのアートワークの詳細検索に対して,明確な改善をもたらすことを示す。
論文 参考訳（メタデータ） (2021-10-29T16:51:16Z) - Learning Structural Representations for Recipe Generation and Food
Retrieval [101.97397967958722]
本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
提案モデルは高品質でコヒーレントなレシピを作成でき、ベンチマークRecipe1Mデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-10-04T06:36:31Z) - Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers
and Self-supervised Learning [17.42688184238741]
近年, 生活における食品の重要性から, クロスモーダルなレシピ検索が注目されている。
本稿では,テキストおよび画像のエンコーダの確立と高性能化に基づく,簡易なエンド・ツー・エンドモデルを提案する。
提案手法は,Recipe1Mデータセットのクロスモーダルレシピ検索タスクにおける最新性能を実現する。
論文 参考訳（メタデータ） (2021-03-24T10:17:09Z) - CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval [20.292467149387594]
本稿では,食品画像検索と検索タスクにおける画像とテキストの潜伏表現を協調的にモデル化する,新たなクロスモーダル学習フレームワークを提案する。
本研究では,効率的な木構造長短期記憶を計算クロスモーダル検索フレームワークのテキストエンコーダとして利用することにより,レシピ記述の主成分や調理動作を明示的な監督なしに識別できることを実証した。
論文 参考訳（メタデータ） (2021-02-04T11:24:34Z) - Structure-Aware Generation Network for Recipe Generation from Images [142.047662926209]
食品画像と材料のみに基づいて調理指導を行うオープン・リサーチ・タスクについて検討する。
ターゲットレシピは長い段落であり、構造情報に関する注釈を持たない。
本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-02T10:54:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。