論文の概要: Cross-lingual Adaptation for Recipe Retrieval with Mixup

• arxiv url: http://arxiv.org/abs/2205.03891v1
• Date: Sun, 8 May 2022 15:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 15:46:42.653027
• Title: Cross-lingual Adaptation for Recipe Retrieval with Mixup
• Title（参考訳）: 混合したレシピ検索のための言語間適応
• Authors: Bin Zhu, Chong-Wah Ngo, Jingjing Chen, Wing-Kwong Chan
• Abstract要約: 近年,大規模なペアリングデータの提供により,クロスモーダルなレシピ検索が研究の注目を集めている。 本稿では,ソース領域とターゲット領域のレシピが異なる言語で作成される画像からレシピ検索のための教師なし領域適応について検討する。 2つの領域間の移動可能な埋め込み特徴を学習するために,新しいレシピ・ミックスアップ法を提案する。
• 参考スコア（独自算出の注目度）: 56.79360103639741
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cross-modal recipe retrieval has attracted research attention in recent years, thanks to the availability of large-scale paired data for training. Nevertheless, obtaining adequate recipe-image pairs covering the majority of cuisines for supervised learning is difficult if not impossible. By transferring knowledge learnt from a data-rich cuisine to a data-scarce cuisine, domain adaptation sheds light on this practical problem. Nevertheless, existing works assume recipes in source and target domains are mostly originated from the same cuisine and written in the same language. This paper studies unsupervised domain adaptation for image-to-recipe retrieval, where recipes in source and target domains are in different languages. Moreover, only recipes are available for training in the target domain. A novel recipe mixup method is proposed to learn transferable embedding features between the two domains. Specifically, recipe mixup produces mixed recipes to form an intermediate domain by discretely exchanging the section(s) between source and target recipes. To bridge the domain gap, recipe mixup loss is proposed to enforce the intermediate domain to locate in the shortest geodesic path between source and target domains in the recipe embedding space. By using Recipe 1M dataset as source domain (English) and Vireo-FoodTransfer dataset as target domain (Chinese), empirical experiments verify the effectiveness of recipe mixup for cross-lingual adaptation in the context of image-to-recipe retrieval.
• Abstract（参考訳）: クロスモーダルなレシピ検索は,大規模ペアデータによるトレーニングが可能となり,近年研究の注目を集めている。 それでも、指導的学習のための料理の大半をカバーする十分なレシピとイメージのペアを得るのは難しい。 データ豊富な料理から学んだ知識をデータ豊かな料理に移すことによって、ドメイン適応はこの実践的な問題に光を当てる。 それにもかかわらず、既存の作品では、ソースとターゲット領域のレシピは、ほとんど同じ料理から派生し、同じ言語で書かれていると仮定している。 本稿では,ソース領域とターゲット領域のレシピが異なる言語である画像からレシピへの検索のための教師なしドメイン適応について検討する。 さらに、ターゲットドメインでのトレーニングにはレシピのみを利用できる。 2つのドメイン間の移動可能な埋め込み特徴を学ぶために,新しいレシピミックスアップ法を提案する。 具体的には、レシピミックスアップは、ソースとターゲットのレシピ間でセクションを個別に交換して中間ドメインを形成する。 ドメインギャップを橋渡しするためにレシピミックスアップロスが提案され、レシピ埋め込み空間のソースドメインとターゲットドメインの間の最短測地パスに中間ドメインを配置するよう強制する。 レシピ1Mデータセットをソースドメイン(英語)として、Vireo-FoodTransferデータセットをターゲットドメイン(中国語)として使用することにより、画像からレシピ検索のコンテキストにおいて、レシピミックスアップの有効性を検証する。

関連論文リスト

• Retrieval Augmented Recipe Generation [96.43285670458803]
  本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。 既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。 生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
  論文  参考訳（メタデータ） (2024-11-13T15:58:50Z)
• MALM: Mask Augmentation based Local Matching for Food-Recipe Retrieval [6.582204441933583]
  本稿では,マスク拡張型局所マッチングネットワーク(MALM)を提案する。 Recipe1Mデータセットによる実験結果から,本手法は最先端(SOTA)手法より明らかに優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-18T22:25:50Z)
• Bidirectional Domain Mixup for Domain Adaptive Semantic Segmentation [73.3083304858763]
  本稿では,ドメイン適応型セマンティックセグメンテーションタスクにおけるミックスアップの影響を系統的に研究する。 具体的には、ドメインミックスアップをカットとペーストという2ステップで実現します。 フレームワークの主なコンポーネントを実証的に検証するために、広範囲にわたるアブレーション実験を行います。
  論文  参考訳（メタデータ） (2023-03-17T05:22:44Z)
• Predefined domain specific embeddings of food concepts and recipes: A case study on heterogeneous recipe datasets [0.0]
  レシピデータセットは通常、ユーザーがレシピを投稿して公開するソーシャルメディアウェブサイトから収集される。 6つの異なるレシピデータセットを公開し、異なるフォーマットで収集します。 栄養予測のために機械学習(ML)パイプラインを適用するために必要なフォーマットにこれらのデータセットをすべて導入する。
  論文  参考訳（メタデータ） (2023-02-02T10:49:06Z)
• Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario [60.20197771545983]
  本研究では,材料の変化に応じて基本レシピを変更するようモデルに依頼する,反現実的なレシピ生成タスクを設計する。 料理の知識を学習するモデルのために、中国語で大規模なレシピデータセットを収集する。 その結果、既存のモデルでは原文のスタイルを保ちながら素材の変更が困難であり、調整が必要なアクションを見逃すことがしばしばあった。
  論文  参考訳（メタデータ） (2022-10-20T17:21:46Z)
• Domain Generalization with MixStyle [120.52367818581608]
  ドメインの一般化(domain generalization)は、ソースドメインのセットから学習することでこの問題に対処しようとしている。 MixStyleと呼ばれるこの手法は、視覚領域が画像スタイルと密接に関連しているという観察によって動機づけられる。 MixStyleは、ミニバッチトレーニングに完全に適合し、実装が非常に簡単です。
  論文  参考訳（メタデータ） (2021-04-05T16:58:09Z)
• Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning [17.42688184238741]
  近年, 生活における食品の重要性から, クロスモーダルなレシピ検索が注目されている。 本稿では,テキストおよび画像のエンコーダの確立と高性能化に基づく,簡易なエンド・ツー・エンドモデルを提案する。 提案手法は,Recipe1Mデータセットのクロスモーダルレシピ検索タスクにおける最新性能を実現する。
  論文  参考訳（メタデータ） (2021-03-24T10:17:09Z)
• Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
  画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。 本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。 食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
  論文  参考訳（メタデータ） (2020-03-09T07:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。