論文の概要: A Rich Recipe Representation as Plan to Support Expressive Multi Modal
Queries on Recipe Content and Preparation Process
- arxiv url: http://arxiv.org/abs/2203.17109v1
- Date: Thu, 31 Mar 2022 15:29:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 20:57:39.590323
- Title: A Rich Recipe Representation as Plan to Support Expressive Multi Modal
Queries on Recipe Content and Preparation Process
- Title（参考訳）: レシピの内容と準備過程の表現的マルチモーダルクエリ支援計画としての豊かなレシピ表現
- Authors: Vishal Pallagani, Priyadharsini Ramamurthy, Vedant Khandelwal, Revathy
Venkataramanan, Kausik Lakkaraju, Sathyanarayanan N. Aakur, Biplav Srivastava
- Abstract要約: 機械理解可能なリッチレシピ表現(R3)の構築について論じる。
R3には、アレルゲンに関する情報や成分のイメージなどの追加の知識が注がれている。
また,レシピ検索ツールであるTREATをR3を用いて,レシピの内容に対するマルチモーダル推論を行う。
- 参考スコア（独自算出の注目度）: 24.94173789568803
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Food is not only a basic human necessity but also a key factor driving a
society's health and economic well-being. As a result, the cooking domain is a
popular use-case to demonstrate decision-support (AI) capabilities in service
of benefits like precision health with tools ranging from information retrieval
interfaces to task-oriented chatbots. An AI here should understand concepts in
the food domain (e.g., recipes, ingredients), be tolerant to failures
encountered while cooking (e.g., browning of butter), handle allergy-based
substitutions, and work with multiple data modalities (e.g. text and images).
However, the recipes today are handled as textual documents which makes it
difficult for machines to read, reason and handle ambiguity. This demands a
need for better representation of the recipes, overcoming the ambiguity and
sparseness that exists in the current textual documents. In this paper, we
discuss the construction of a machine-understandable rich recipe representation
(R3), in the form of plans, from the recipes available in natural language. R3
is infused with additional knowledge such as information about allergens and
images of ingredients, possible failures and tips for each atomic cooking step.
To show the benefits of R3, we also present TREAT, a tool for recipe retrieval
which uses R3 to perform multi-modal reasoning on the recipe's content (plan
objects - ingredients and cooking tools), food preparation process (plan
actions and time), and media type (image, text). R3 leads to improved retrieval
efficiency and new capabilities that were hither-to not possible in textual
representation.
- Abstract（参考訳）: 食物は基本的な人間の必要性だけでなく、社会の健康と経済の幸福を駆動する重要な要素でもある。
その結果、料理領域は、情報検索インターフェースからタスク指向のチャットボットまで、ツールを使用して精密な健康を提供するサービスにおいて、意思決定支援(ai)能力を示す一般的なユースケースである。
ここでのAIは、食品領域の概念(レシピや材料など)を理解し、調理中に遭遇した失敗(バターのブラウニングなど)に寛容であり、アレルギーベースの置換を処理し、複数のデータモダリティ(テキストや画像など)を扱う必要がある。
しかし、今日のレシピはテキスト文書として扱われており、機械があいまいさを読みやすく、理性があり、扱いにくい。
これにより、現在のテキスト文書にあるあいまいさとスパースさを克服し、レシピのより良い表現の必要性が要求される。
本稿では,自然言語で利用可能なレシピから,機械が理解可能なリッチレシピ表現(R3)を計画形式で構築することについて議論する。
R3には、アレルゲンに関する情報や成分の画像、原子調理工程の失敗やヒントなどの追加の知識が注がれている。
r3 の利点を示すために,r3 を用いたレシピ検索ツールである treat についても紹介する。r3 を用いて,レシピの内容(計画対象,材料,調理ツール),調理プロセス(計画動作と時間),メディアタイプ(画像,テキスト)についてマルチモーダル推論を行う。
R3は、テキスト表現では不可能だった検索効率と新機能の改善につながる。
関連論文リスト
- Retrieval Augmented Recipe Generation [96.43285670458803]
本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。
既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。
生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
論文 参考訳（メタデータ） (2024-11-13T15:58:50Z) - PizzaCommonSense: Learning to Model Commonsense Reasoning about Intermediate Steps in Cooking Recipes [7.839338724237275]
レシピを効果的に推論するモデルは、レシピ内の中間ステップの入力と出力を正確に識別し、理解する必要がある。
そこで本研究では,各工程の入力と出力を記述した中間ステップを記述した料理レシピの新たなコーパスを提案する。
論文 参考訳（メタデータ） (2024-01-12T23:33:01Z) - FIRE: Food Image to REcipe generation [10.45344523054623]
フードコンピューティングは、食品画像のレシピ情報を自律的に生成できるエンドツーエンドのインテリジェントシステムを開発することを目的としている。
本稿では,食品コンピューティング分野におけるレシピ生成に適した新しい手法であるFIREを提案する。
本稿では、FIREと大規模言語モデルのプロンプトを統合することの恩恵を享受できる2つの実用的なアプリケーションを紹介する。
論文 参考訳（メタデータ） (2023-08-28T08:14:20Z) - Large Language Models as Sous Chefs: Revising Recipes with GPT-3 [56.7155146252028]
我々は、複雑で多様で広く使われている指示の例としてレシピに焦点を当てている。
我々は、レシピと材料リストに基づいたプロンプトを開発し、レシピをより単純なステップに分解する。
また,レシピリビジョンの品質の人的判断を収集しながら,疲労軽減を念頭に設計したAmazon Mechanical Turkタスクにも貢献する。
論文 参考訳（メタデータ） (2023-06-24T14:42:43Z) - Counterfactual Recipe Generation: Exploring Compositional Generalization
in a Realistic Scenario [60.20197771545983]
本研究では,材料の変化に応じて基本レシピを変更するようモデルに依頼する,反現実的なレシピ生成タスクを設計する。
料理の知識を学習するモデルのために、中国語で大規模なレシピデータセットを収集する。
その結果、既存のモデルでは原文のスタイルを保ちながら素材の変更が困難であり、調整が必要なアクションを見逃すことがしばしばあった。
論文 参考訳（メタデータ） (2022-10-20T17:21:46Z) - Attention-based Ingredient Phrase Parser [3.499870393443268]
そこで本研究では,レシピの成分句を構造体にパースし,その属性を0.93F1スコア以上で解析できる新しい成分解析モデルを提案する。
実験の結果,AllRecipesとFood.comのデータセット上での最先端のパフォーマンスが得られた。
論文 参考訳（メタデータ） (2022-10-05T20:09:35Z) - Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers
and Self-supervised Learning [17.42688184238741]
近年, 生活における食品の重要性から, クロスモーダルなレシピ検索が注目されている。
本稿では,テキストおよび画像のエンコーダの確立と高性能化に基づく,簡易なエンド・ツー・エンドモデルを提案する。
提案手法は,Recipe1Mデータセットのクロスモーダルレシピ検索タスクにおける最新性能を実現する。
論文 参考訳（メタデータ） (2021-03-24T10:17:09Z) - CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval [20.292467149387594]
本稿では,食品画像検索と検索タスクにおける画像とテキストの潜伏表現を協調的にモデル化する,新たなクロスモーダル学習フレームワークを提案する。
本研究では,効率的な木構造長短期記憶を計算クロスモーダル検索フレームワークのテキストエンコーダとして利用することにより,レシピ記述の主成分や調理動作を明示的な監督なしに識別できることを実証した。
論文 参考訳（メタデータ） (2021-02-04T11:24:34Z) - Structure-Aware Generation Network for Recipe Generation from Images [142.047662926209]
食品画像と材料のみに基づいて調理指導を行うオープン・リサーチ・タスクについて検討する。
ターゲットレシピは長い段落であり、構造情報に関する注釈を持たない。
本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-02T10:54:25Z) - Multi-modal Cooking Workflow Construction for Food Recipes [147.4435186953995]
ワークフロー構築のための最初の大規模データセットであるMM-ReSを構築した。
本稿では、視覚情報とテキスト情報の両方を利用して調理ワークフローを構築するニューラルエンコーダデコーダモデルを提案する。
論文 参考訳（メタデータ） (2020-08-20T18:31:25Z) - Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images
and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。
本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。
食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
論文 参考訳（メタデータ） (2020-03-09T07:41:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。