論文の概要: Culinary Class Wars: Evaluating LLMs using ASH in Cuisine Transfer Task

• arxiv url: http://arxiv.org/abs/2411.01996v1
• Date: Mon, 04 Nov 2024 11:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:21.002529
• Title: Culinary Class Wars: Evaluating LLMs using ASH in Cuisine Transfer Task
• Title（参考訳）: 食材輸送作業におけるASHを用いたLCMの評価
• Authors: Hoonick Lee, Mogan Gim, Donghyeon Park, Donghee Choi, Jaewoo Kang,
• Abstract要約: 大型言語モデル (LLMs) は、料理を含む様々な創造的領域において有望であることを示している。 本研究は, LLMの料理創造性を評価するために, ある料理を別の料理に伝達する要素に焦点を当てた。
• 参考スコア（独自算出の注目度）: 18.229223484919775
• License:
• Abstract: The advent of Large Language Models (LLMs) have shown promise in various creative domains, including culinary arts. However, many LLMs still struggle to deliver the desired level of culinary creativity, especially when tasked with adapting recipes to meet specific cultural requirements. This study focuses on cuisine transfer-applying elements of one cuisine to another-to assess LLMs' culinary creativity. We employ a diverse set of LLMs to generate and evaluate culturally adapted recipes, comparing their evaluations against LLM and human judgments. We introduce the ASH (authenticity, sensitivity, harmony) benchmark to evaluate LLMs' recipe generation abilities in the cuisine transfer task, assessing their cultural accuracy and creativity in the culinary domain. Our findings reveal crucial insights into both generative and evaluative capabilities of LLMs in the culinary domain, highlighting strengths and limitations in understanding and applying cultural nuances in recipe creation. The code and dataset used in this project will be openly available in \url{http://github.com/dmis-lab/CulinaryASH}.
• Abstract（参考訳）: LLM(Large Language Models)の出現は、料理を含む様々な創造的領域において有望であることを示している。 しかし、多くのLCMは、特に特定の文化的な要求を満たすためにレシピを適応させるのに、望ましい料理の創造性を提供するのに苦慮している。 本研究は,LLMの料理創造性を評価するために,ある料理を別の料理に応用する要素に焦点をあてる。 文化に適応したレシピを作成・評価するために,多種多様なLCMを用いており,その評価をLCMと人的判断と比較している。 ASH(authenticity, sensitivity, harmony)ベンチマークを導入し, LLMの料理伝達におけるレシピ生成能力を評価し, 料理領域におけるその文化的精度と創造性を評価する。 本研究は, 料理領域におけるLCMの生成的および評価的能力に関する重要な知見を明らかにし, レシピ作成における文化的ニュアンスを理解し, 適用する上での強みと限界を強調した。 このプロジェクトで使用されるコードとデータセットは、 \url{http://github.com/dmis-lab/CulinaryASH}で公開されている。

関連論文リスト

• LLaVA-Chef: A Multi-modal Generative Model for Food Recipes [17.705244174235045]
  大規模言語モデル(LLM)は、自然言語処理アプローチにより、食品関連のタスクをより深く掘り下げる道を開いた。 この研究は、多様なレシピプロンプトのキュレートされたデータセットに基づいて訓練された新しいモデルであるLLaVA-Chefを提案する。 詳細な質的分析により、LLaVA-Chefはより詳細なレシピを生成し、正確な成分が記述されていることが明らかになった。
  論文  参考訳（メタデータ） (2024-08-29T20:20:49Z)
• Translating Across Cultures: LLMs for Intralingual Cultural Adaptation [12.5954253354303]
  文化適応の課題を定義し,現代LLMの性能を評価するための評価枠組みを構築した。 我々は、自動適応で起こりうる問題を解析する。 本稿は, LLMの文化的理解と, 異文化のシナリオにおける創造性について, より深い知見を提供していくことを願っている。
  論文  参考訳（メタデータ） (2024-06-20T17:06:58Z)
• FoodieQA: A Multimodal Dataset for Fine-Grained Understanding of Chinese Food Culture [60.51749998013166]
  中国各地の食文化の複雑な特徴を,手作業でキュレートした,きめ細かい画像テキストデータセットであるFoodieQAを紹介した。 視覚言語モデル(VLM)と大規模言語モデル(LLM)を,新たに収集した未確認食品画像およびそれに対応する質問に対して評価する。 以上の結果から,食品とその文化的意味の理解は依然として困難かつ未解明の方向にあることが示唆された。
  論文  参考訳（メタデータ） (2024-06-16T17:59:32Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge [47.57055368312541]
  FmLAMA(FmLAMA)は、食品関連の文化的事実と食実践のバリエーションに着目した多言語データセットである。 我々は,LLMを様々なアーキテクチャや構成にわたって分析し,その性能を単言語と多言語の両方で評価する。
  論文  参考訳（メタデータ） (2024-04-10T08:49:27Z)
• CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
  我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。 我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
  論文  参考訳（メタデータ） (2024-04-10T00:25:09Z)
• FoodLMM: A Versatile Food Assistant using Large Multi-modal Model [96.76271649854542]
  大規模マルチモーダルモデル(LMM)は多くの視覚言語タスクにおいて顕著な進歩を遂げている。 本稿では,多機能なLMMに基づく多目的食品アシスタントであるFoodLMMを提案する。 本稿では,食品の栄養価と複数のセグメンテーションマスクを予測するために,一連の新しいタスク固有のトークンとヘッドを導入する。
  論文  参考訳（メタデータ） (2023-12-22T11:56:22Z)
• Cultural Adaptation of Recipes [24.825456977440616]
  本稿では、中国料理と英語料理のレシピの翻訳と文化適応に関する新たな課題を紹介する。 この調査を支援するために、中国語と英語で書かれたレシピを自動的に組み合わせたユニークなデータセットであるCulturalRecipesを提示する。 我々は,GPT-4や他の大規模言語モデル,従来の機械翻訳,情報検索技術など,様々な手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-10-26T12:39:20Z)
• Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario [60.20197771545983]
  本研究では,材料の変化に応じて基本レシピを変更するようモデルに依頼する,反現実的なレシピ生成タスクを設計する。 料理の知識を学習するモデルのために、中国語で大規模なレシピデータセットを収集する。 その結果、既存のモデルでは原文のスタイルを保ちながら素材の変更が困難であり、調整が必要なアクションを見逃すことがしばしばあった。
  論文  参考訳（メタデータ） (2022-10-20T17:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。