論文の概要: On Recipe Memorization and Creativity in Large Language Models: Is Your Model a Creative Cook, a Bad Cook, or Merely a Plagiator?

• arxiv url: http://arxiv.org/abs/2506.23527v1
• Date: Mon, 30 Jun 2025 05:27:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.929666
• Title: On Recipe Memorization and Creativity in Large Language Models: Is Your Model a Creative Cook, a Bad Cook, or Merely a Plagiator?
• Title（参考訳）: 大規模言語モデルにおけるレシピ記憶と創造性について:あなたのモデルは創造的クックか、悪いクックか、それとも単なるプラジエーターか?
• Authors: Jan Kvapil, Martin Fajcik,
• Abstract要約: このワーク・イン・プログレスは、大規模言語モデルから生成された料理レシピにおける記憶、創造性、およびナンセンスを調査する。 LLM-as-judge'パイプラインを設計し、レシピ生成、ナンセンス検出、材料やレシピの構文解析、アノテーションを自動生成する。
• 参考スコア（独自算出の注目度）: 1.7665640642293559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work-in-progress investigates the memorization, creativity, and nonsense found in cooking recipes generated from Large Language Models (LLMs). Precisely, we aim (i) to analyze memorization, creativity, and non-sense in LLMs using a small, high-quality set of human judgments and (ii) to evaluate potential approaches to automate such a human annotation in order to scale our study to hundreds of recipes. To achieve (i), we conduct a detailed human annotation on 20 preselected recipes generated by LLM (Mixtral), extracting each recipe's ingredients and step-by-step actions to assess which elements are memorized--i.e., directly traceable to online sources possibly seen during training--and which arise from genuine creative synthesis or outright nonsense. We find that Mixtral consistently reuses ingredients that can be found in online documents, potentially seen during model training, suggesting strong reliance on memorized content. To achieve aim (ii) and scale our analysis beyond small sample sizes and single LLM validation, we design an ``LLM-as-judge'' pipeline that automates recipe generation, nonsense detection, parsing ingredients and recipe steps, and their annotation. For instance, comparing its output against human annotations, the best ingredient extractor and annotator is Llama 3.1+Gemma 2 9B, achieving up to 78% accuracy on ingredient matching. This automated framework enables large-scale quantification of memorization, creativity, and nonsense in generated recipes, providing rigorous evidence of the models' creative capacities.
• Abstract（参考訳）: 本研究は,Large Language Models (LLMs) の調理レシピにおける記憶,創造性,およびナンセンスについて考察する。 正確には、私たちは 一 人的判断の小型で高品質なセットを用いて、LLMにおける暗記、創造性及び非センスを分析すること。 (II) 研究を数百のレシピに拡張するために, 人間のアノテーションを自動化するための潜在的アプローチを評価すること。 to achieve―to achieve i) LLM(Mixtral)が生成する20種類の事前選択されたレシピに対して詳細な人間のアノテーションを行い,各レシピの成分を抽出し,どの要素が記憶されているかをステップバイステップで評価する。 また,Mixtralはオンライン文書で見られる素材を常に再利用しており,モデルトレーニング中に見られる可能性があり,記憶コンテンツへの強い依存が示唆されている。 目的を達成するために (II) サンプルサイズを超越して分析をスケールし, 単一のLCM検証を行い, レシピ生成, ナンセンス検出, 材料やレシピのステップの解析, アノテーションを自動生成する `LLM-as-judge'' パイプラインを設計する。 例えば、その出力をヒトのアノテーションと比較すると、最高の成分抽出器とアノテーションはLlama 3.1+Gemma 2 9Bであり、成分マッチングの精度は最大78%に達する。 この自動化されたフレームワークは、生成したレシピにおける記憶、創造性、ナンセンスの大規模定量化を可能にし、モデルの創造能力の厳密な証拠を提供する。

関連論文リスト

• Retrieval Augmented Recipe Generation [96.43285670458803]
  本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。 既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。 生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
  論文  参考訳（メタデータ） (2024-11-13T15:58:50Z)
• Deep Learning Based Named Entity Recognition Models for Recipes [7.507956305171027]
  名前付きエンティティ認識(NER)は、構造化されていない、または半構造化されていないデータから既知のラベルで情報を抽出する技術である。 私たちは26,445のフレーズを累積してデータセットを作成しました。 金本位レシピデータレポジトリRecipeDBの成分句を分析し,Stanford NERを用いて注釈した。 深層学習に基づく言語モデルの統計的、微調整を含むこれらのデータセットに対するNERアプローチの徹底的な調査は、深い洞察を与える。
  論文  参考訳（メタデータ） (2024-02-27T12:03:56Z)
• Large Language Models as Sous Chefs: Revising Recipes with GPT-3 [56.7155146252028]
  我々は、複雑で多様で広く使われている指示の例としてレシピに焦点を当てている。 我々は、レシピと材料リストに基づいたプロンプトを開発し、レシピをより単純なステップに分解する。 また,レシピリビジョンの品質の人的判断を収集しながら,疲労軽減を念頭に設計したAmazon Mechanical Turkタスクにも貢献する。
  論文  参考訳（メタデータ） (2023-06-24T14:42:43Z)
• KitchenScale: Learning to predict ingredient quantities from recipe contexts [13.001618172288198]
  KitchenScaleは、レシピのコンテキストからターゲットの材料量と測定単位を予測するモデルである。 本稿では,成分測定型分類,単位分類,量回帰タスクの3つのサブタスクからなる成分量予測タスクを定式化する。 新たに構築したデータセットとレコメンデーションの例での実験では、さまざまなレシピコンテキストに対するKitchenScaleの理解が示されています。
  論文  参考訳（メタデータ） (2023-04-21T04:28:16Z)
• Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario [60.20197771545983]
  本研究では,材料の変化に応じて基本レシピを変更するようモデルに依頼する,反現実的なレシピ生成タスクを設計する。 料理の知識を学習するモデルのために、中国語で大規模なレシピデータセットを収集する。 その結果、既存のモデルでは原文のスタイルを保ちながら素材の変更が困難であり、調整が必要なアクションを見逃すことがしばしばあった。
  論文  参考訳（メタデータ） (2022-10-20T17:21:46Z)
• Learning Structural Representations for Recipe Generation and Food Retrieval [101.97397967958722]
  本稿では,食品レシピ生成課題に取り組むために,構造認識ネットワーク(SGN)の新たな枠組みを提案する。 提案モデルは高品質でコヒーレントなレシピを作成でき、ベンチマークRecipe1Mデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-10-04T06:36:31Z)
• Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning [17.42688184238741]
  近年, 生活における食品の重要性から, クロスモーダルなレシピ検索が注目されている。 本稿では,テキストおよび画像のエンコーダの確立と高性能化に基づく,簡易なエンド・ツー・エンドモデルを提案する。 提案手法は,Recipe1Mデータセットのクロスモーダルレシピ検索タスクにおける最新性能を実現する。
  論文  参考訳（メタデータ） (2021-03-24T10:17:09Z)
• Multi-modal Cooking Workflow Construction for Food Recipes [147.4435186953995]
  ワークフロー構築のための最初の大規模データセットであるMM-ReSを構築した。 本稿では、視覚情報とテキスト情報の両方を利用して調理ワークフローを構築するニューラルエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-20T18:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。