論文の概要: Recipe2Vec: Multi-modal Recipe Representation Learning with Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2205.12396v1
• Date: Tue, 24 May 2022 23:04:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 13:46:41.375113
• Title: Recipe2Vec: Multi-modal Recipe Representation Learning with Graph Neural Networks
• Title（参考訳）: Recipe2Vec: グラフニューラルネットワークを用いたマルチモーダルレシピ表現学習
• Authors: Yijun Tian, Chuxu Zhang, Zhichun Guo, Yihong Ma, Ronald Metoyer, Nitesh V. Chawla
• Abstract要約: マルチモーダルなレシピ表現学習の問題を形式化し、視覚的、テキスト的、リレーショナルな情報をレシピの埋め込みに統合する。 まず、50万以上のノードを持つ新しいレシピグラフデータであるLarge-RGを紹介した。 次に、新しいグラフニューラルネットワークに基づくレシピ埋め込みモデルであるRecipe2Vecを提案し、マルチモーダル情報をキャプチャする。
• 参考スコア（独自算出の注目度）: 23.378813327724686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning effective recipe representations is essential in food studies. Unlike what has been developed for image-based recipe retrieval or learning structural text embeddings, the combined effect of multi-modal information (i.e., recipe images, text, and relation data) receives less attention. In this paper, we formalize the problem of multi-modal recipe representation learning to integrate the visual, textual, and relational information into recipe embeddings. In particular, we first present Large-RG, a new recipe graph data with over half a million nodes, making it the largest recipe graph to date. We then propose Recipe2Vec, a novel graph neural network based recipe embedding model to capture multi-modal information. Additionally, we introduce an adversarial attack strategy to ensure stable learning and improve performance. Finally, we design a joint objective function of node classification and adversarial learning to optimize the model. Extensive experiments demonstrate that Recipe2Vec outperforms state-of-the-art baselines on two classic food study tasks, i.e., cuisine category classification and region prediction. Dataset and codes are available at https://github.com/meettyj/Recipe2Vec.
• Abstract（参考訳）: 効果的なレシピ表現の学習は食品研究において不可欠である。 画像に基づくレシピ検索や構造テキストの埋め込み学習のために開発されたものとは異なり、マルチモーダル情報(レシピ画像、テキスト、関係データなど)の複合効果は、あまり注目されない。 本稿では,マルチモーダルなレシピ表現学習の問題を形式化し,視覚的,テキスト的,リレーショナルな情報をレシピ埋め込みに統合する。 特に、50万以上のノードを持つ新しいレシピグラフデータであるLarge-RGを初めて紹介し、これまでで最大のレシピグラフとなった。 次に,マルチモーダル情報を取り込むための新しいグラフニューラルネットワークによるレシピ埋め込みモデルであるs method2vecを提案する。 さらに,安定した学習と性能向上を図るために,敵攻撃戦略を導入する。 最後に,ノード分類と逆学習の連立目的関数を設計し,モデルを最適化する。 広範囲にわたる実験により、Recipe2Vecは2つの古典的な食品研究課題、すなわち料理カテゴリー分類と地域予測において、最先端のベースラインを上回ります。 データセットとコードはhttps://github.com/meettyj/recipe2vecで入手できる。

関連論文リスト

• Retrieval Augmented Recipe Generation [96.43285670458803]
  本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。 既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。 生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
  論文  参考訳（メタデータ） (2024-11-13T15:58:50Z)
• Deep Image-to-Recipe Translation [0.0]
  Deep Image-to-Recipe Translation(ディープ・イメージ・ツー・レシピ・トランスレーション)は、鮮やかな食品記憶と料理作りの技法のギャップを埋めることを目的としている。 我々の主な目的は、所定の食品画像から成分を予測することである。 我々のアプローチは、正確性だけで誤解を招く可能性のあるシナリオにおいて、IoU(Intersection over Union)やF1スコアのようなメトリクスの重要性を強調します。
  論文  参考訳（メタデータ） (2024-07-01T02:33:07Z)
• RecipeRec: A Heterogeneous Graph Learning Model for Recipe Recommendation [26.84274830886026]
  我々は,レシピレコメンデーションに協調的なシグナルを組み込むために,グラフを用いてレシピレコメンデーションの問題を定式化する。 最初に、リレーショナルグラフ(Relational-Graph)を提示する。 次にレシピ推薦のための新しい異種グラフ学習モデルであるRecipeRecを提案する。
  論文  参考訳（メタデータ） (2022-05-24T22:19:53Z)
• Learning Structural Representations for Recipe Generation and Food Retrieval [101.97397967958722]
  本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。 提案モデルは高品質でコヒーレントなレシピを作成でき、ベンチマークRecipe1Mデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-10-04T06:36:31Z)
• Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning [17.42688184238741]
  近年, 生活における食品の重要性から, クロスモーダルなレシピ検索が注目されている。 本稿では,テキストおよび画像のエンコーダの確立と高性能化に基づく,簡易なエンド・ツー・エンドモデルを提案する。 提案手法は,Recipe1Mデータセットのクロスモーダルレシピ検索タスクにおける最新性能を実現する。
  論文  参考訳（メタデータ） (2021-03-24T10:17:09Z)
• Structure-Aware Generation Network for Recipe Generation from Images [142.047662926209]
  食品画像と材料のみに基づいて調理指導を行うオープン・リサーチ・タスクについて検討する。 ターゲットレシピは長い段落であり、構造情報に関する注釈を持たない。 本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-02T10:54:25Z)
• Multi-modal Cooking Workflow Construction for Food Recipes [147.4435186953995]
  ワークフロー構築のための最初の大規模データセットであるMM-ReSを構築した。 本稿では、視覚情報とテキスト情報の両方を利用して調理ワークフローを構築するニューラルエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-20T18:31:25Z)
• Decomposing Generation Networks with Structure Prediction for Recipe Generation [142.047662926209]
  本稿では,構造予測を伴うDGN(Decomposing Generation Networks)を提案する。 具体的には,調理指導を複数のフェーズに分割し,各フェーズに異なるサブジェネレータを割り当てる。 提案手法は, (i) 大域的構造予測成分を用いてレシピ構造を学習し, (ii) 予測された構造に基づいてサブジェネレータ出力成分でレシピ相を生成するという2つの新しいアイデアを含む。
  論文  参考訳（メタデータ） (2020-07-27T08:47:50Z)
• Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
  画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。 本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。 食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
  論文  参考訳（メタデータ） (2020-03-09T07:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。