論文の概要: Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2103.13061v1
• Date: Wed, 24 Mar 2021 10:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 13:58:50.683084
• Title: Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
• Title（参考訳）: 階層型トランスフォーマーと自己教師付き学習によるクロスモーダルレシピ検索の改良
• Authors: Amaia Salvador, Erhan Gundogdu, Loris Bazzani, Michael Donoser
• Abstract要約: 近年, 生活における食品の重要性から, クロスモーダルなレシピ検索が注目されている。 本稿では,テキストおよび画像のエンコーダの確立と高性能化に基づく,簡易なエンド・ツー・エンドモデルを提案する。 提案手法は,Recipe1Mデータセットのクロスモーダルレシピ検索タスクにおける最新性能を実現する。
• 参考スコア（独自算出の注目度）: 17.42688184238741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal recipe retrieval has recently gained substantial attention due to the importance of food in people's lives, as well as the availability of vast amounts of digital cooking recipes and food images to train machine learning models. In this work, we revisit existing approaches for cross-modal recipe retrieval and propose a simplified end-to-end model based on well established and high performing encoders for text and images. We introduce a hierarchical recipe Transformer which attentively encodes individual recipe components (titles, ingredients and instructions). Further, we propose a self-supervised loss function computed on top of pairs of individual recipe components, which is able to leverage semantic relationships within recipes, and enables training using both image-recipe and recipe-only samples. We conduct a thorough analysis and ablation studies to validate our design choices. As a result, our proposed method achieves state-of-the-art performance in the cross-modal recipe retrieval task on the Recipe1M dataset. We make code and models publicly available.
• Abstract（参考訳）: クロスモーダルレシピ検索は最近、人々の生活における食品の重要性と、機械学習モデルのトレーニングに膨大な量のデジタル料理レシピと食品イメージが利用可能であることから、大きな注目を集めている。 本稿では,既存のクロスモーダルレシピ検索手法を再考し,テキストや画像のエンコーダの確立・高性能化に基づく,エンド・ツー・エンドの簡易モデルを提案する。 本稿では,個々のレシピ要素(タイトル,材料,指示)を注意深くエンコードする階層的レシピトランスフォーマを提案する。 さらに,レシピ内の意味的関係を活用でき,イメージレシピとレシピのみのサンプルを併用したトレーニングを可能にする,個別のレシピコンポーネントのペア上で計算された自己教師付き損失関数を提案する。 デザインの選択を検証するために、徹底的な分析とアブレーション研究を行います。 その結果,提案手法はRecipe1Mデータセット上でのクロスモーダルレシピ検索タスクにおける最先端性能を実現する。 コードとモデルを公開しています。

関連論文リスト

• Retrieval Augmented Recipe Generation [96.43285670458803]
  本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。 既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。 生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
  論文  参考訳（メタデータ） (2024-11-13T15:58:50Z)
• FIRE: Food Image to REcipe generation [10.45344523054623]
  フードコンピューティングは、食品画像のレシピ情報を自律的に生成できるエンドツーエンドのインテリジェントシステムを開発することを目的としている。 本稿では,食品コンピューティング分野におけるレシピ生成に適した新しい手法であるFIREを提案する。 本稿では、FIREと大規模言語モデルのプロンプトを統合することの恩恵を享受できる2つの実用的なアプリケーションを紹介する。
  論文  参考訳（メタデータ） (2023-08-28T08:14:20Z)
• Learning Structural Representations for Recipe Generation and Food Retrieval [101.97397967958722]
  本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。 提案モデルは高品質でコヒーレントなレシピを作成でき、ベンチマークRecipe1Mデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-10-04T06:36:31Z)
• CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval [20.292467149387594]
  本稿では,食品画像検索と検索タスクにおける画像とテキストの潜伏表現を協調的にモデル化する,新たなクロスモーダル学習フレームワークを提案する。 本研究では,効率的な木構造長短期記憶を計算クロスモーダル検索フレームワークのテキストエンコーダとして利用することにより,レシピ記述の主成分や調理動作を明示的な監督なしに識別できることを実証した。
  論文  参考訳（メタデータ） (2021-02-04T11:24:34Z)
• Cross-modal Retrieval and Synthesis (X-MRS): Closing the modality gap in shared subspace [21.33710150033949]
  本稿では,食品画像からレシピへの検索問題に対処するために,共有サブスペース学習のためのシンプルで斬新なアーキテクチャを提案する。 公開Recipe1Mデータセットの実験的解析により,提案手法を用いて学習した部分空間が,現在の最先端技術よりも優れていることが示された。 学習した部分空間の表現力を示すために,レシピの埋め込みを前提とした生成食品画像合成モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-02T17:27:00Z)
• Structure-Aware Generation Network for Recipe Generation from Images [142.047662926209]
  食品画像と材料のみに基づいて調理指導を行うオープン・リサーチ・タスクについて検討する。 ターゲットレシピは長い段落であり、構造情報に関する注釈を持たない。 本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-02T10:54:25Z)
• Multi-modal Cooking Workflow Construction for Food Recipes [147.4435186953995]
  ワークフロー構築のための最初の大規模データセットであるMM-ReSを構築した。 本稿では、視覚情報とテキスト情報の両方を利用して調理ワークフローを構築するニューラルエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-20T18:31:25Z)
• Decomposing Generation Networks with Structure Prediction for Recipe Generation [142.047662926209]
  本稿では,構造予測を伴うDGN(Decomposing Generation Networks)を提案する。 具体的には,調理指導を複数のフェーズに分割し,各フェーズに異なるサブジェネレータを割り当てる。 提案手法は, (i) 大域的構造予測成分を用いてレシピ構造を学習し, (ii) 予測された構造に基づいてサブジェネレータ出力成分でレシピ相を生成するという2つの新しいアイデアを含む。
  論文  参考訳（メタデータ） (2020-07-27T08:47:50Z)
• Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
  画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。 本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。 食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
  論文  参考訳（メタデータ） (2020-03-09T07:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。