論文の概要: ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM

• arxiv url: http://arxiv.org/abs/2412.00627v1
• Date: Sun, 01 Dec 2024 00:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:12.612829
• Title: ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM
• Title（参考訳）: ARChef:マルチモーダルジェミニLLMで動くiOSベースの拡張現実料理アシスタント
• Authors: Rithik Vir, Parsa Madinei,
• Abstract要約: 本稿では,ARとコンピュータビジョン(CV)を調理プロセスに統合したiOSアプリケーションのプロトタイプを提案する。 我々は、Googleのジェミニ大言語モデル(LLM)を利用して、カメラの視野に基づいて成分を特定し、栄養情報を使ってレシピの選択を生成する。 ユーザーは食事の好みを入力し、各食事の格付けをすることで、食事の提案をパーソナライズすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Cooking meals can be difficult, causing many to use cookbooks and online recipes, which results in missing ingredients, nutritional hazards, unsatisfactory meals. Using Augmented Reality (AR) can address this issue, however, current AR cooking applications have poor user interfaces and limited accessibility. This paper proposes a prototype of an iOS application that integrates AR and Computer Vision (CV) into the cooking process. We leverage Google's Gemini Large Language Model (LLM) to identify ingredients based on the camera's field of vision, and generate recipe choices with their nutritional information. Additionally, this application uses Apple's ARKit to create an AR user interface compatible with iOS devices. Users can personalize their meal suggestions by inputting their dietary preferences and rating each meal. The application's effectiveness is evaluated through user experience surveys. This application contributes to the field of accessible cooking assistance technologies, aiming to reduce food wastage and improve the meal planning experience.
• Abstract（参考訳）: 料理は困難であり、多くの人が料理ブックやオンラインレシピを使うようになり、食材不足、栄養障害、不満足な食事に繋がる。 Augmented Reality (AR)を使用することでこの問題に対処できるが、現在のAR調理アプリケーションはユーザインターフェースが貧弱でアクセシビリティが制限されている。 本稿では,ARとコンピュータビジョン(CV)を調理プロセスに統合したiOSアプリケーションのプロトタイプを提案する。 我々は、Googleのジェミニ大言語モデル(LLM)を利用して、カメラの視野に基づいて成分を特定し、栄養情報を使ってレシピの選択を生成する。 さらに、このアプリケーションはAppleのARKitを使用して、iOSデバイスと互換性のあるARユーザインターフェースを作成する。 ユーザーは食事の好みを入力し、各食事の格付けをすることで、食事の提案をパーソナライズすることができる。 アプリケーションの有効性は,ユーザエクスペリエンス調査を通じて評価される。 この応用は、食品の無駄を減らし、食事計画体験を改善することを目的とした、手軽な調理支援技術の分野に寄与する。

関連論文リスト

• RoDE: Linear Rectified Mixture of Diverse Experts for Food Large Multi-Modal Models [96.43285670458803]
  Uni-Foodは、さまざまな食品ラベルを持つ10万以上の画像からなる統合食品データセットである。 Uni-Foodは、食品データ分析に対するより包括的なアプローチを提供するように設計されている。 本稿では,食品関連マルチタスキングの課題に対処するため,新しいリニア・リクティフィケーション・ミックス・オブ・ディバース・エキスパート (RoDE) アプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-17T16:49:34Z)
• Eating Smart: Advancing Health Informatics with the Grounding DINO based Dietary Assistant App [0.0]
  Smart Dietary Assistantは機械学習を利用して、パーソナライズされた食事アドバイスを提供する。 アプリは複数のプラットフォームでシームレスに動作し、自己ホスト型データベースを統合する。 主な機能としては、パーソナライズされた栄養プロファイル、リアルタイム食品スキャン、健康情報などがある。
  論文  参考訳（メタデータ） (2024-06-02T19:59:07Z)
• How Much You Ate? Food Portion Estimation on Spoons [63.611551981684244]
  現在の画像に基づく食品部分推定アルゴリズムは、ユーザが食事の画像を1、2回取ることを前提としている。 本稿では,静止型ユーザ向けカメラを用いて,機器上の食品の追跡を行う革新的なソリューションを提案する。 本システムは,スープやシチューなどの液状固形不均一混合物の栄養含量の推定に信頼性が高い。
  論文  参考訳（メタデータ） (2024-05-12T00:16:02Z)
• NutritionVerse-Real: An Open Access Manually Collected 2D Food Scene Dataset for Dietary Intake Estimation [68.49526750115429]
  食事摂取推定のための2D食品シーンデータセットであるNutritionVerse-Realを導入する。 NutritionVerse-Realデータセットは、実生活における食品シーンのイメージを手作業で収集し、各成分の重量を測定し、各料理の食生活内容を計算することによって作成されました。
  論文  参考訳（メタデータ） (2023-11-20T11:05:20Z)
• FIRE: Food Image to REcipe generation [10.45344523054623]
  フードコンピューティングは、食品画像のレシピ情報を自律的に生成できるエンドツーエンドのインテリジェントシステムを開発することを目的としている。 本稿では,食品コンピューティング分野におけるレシピ生成に適した新しい手法であるFIREを提案する。 本稿では、FIREと大規模言語モデルのプロンプトを統合することの恩恵を享受できる2つの実用的なアプリケーションを紹介する。
  論文  参考訳（メタデータ） (2023-08-28T08:14:20Z)
• Human Behavior-based Personalized Meal Recommendation and Menu Planning Social System [9.633565294243175]
  提案するフレームワークには、異なる食事の影響を認識するソーシャル・アフェクティブ・コンピューティング・モジュールが含まれている。 脳波は脳の信号を捉え、それを分析し、食べ物に対する感情を予測できる。 実験結果から, 感情計算, 食事推奨, メニュー計画アルゴリズムは, 様々な評価パラメータで良好に機能することが示唆された。
  論文  参考訳（メタデータ） (2023-08-12T12:19:23Z)
• MenuAI: Restaurant Food Recommendation System via a Transformer-based Deep Learning Model [15.248362664235845]
  本稿では,新しいレストラン料理推薦システムを提案する。 光学文字認識(OCR)技術とトランスフォーマーベースのディープラーニングモデルであるLearning to Rank(LTR)モデルを使用する。 我々のシステムは、入力された検索キー(例えば、カロリー、タンパク質レベル)で食品料理をランク付けすることができる。
  論文  参考訳（メタデータ） (2022-10-15T11:45:44Z)
• A Mobile Food Recognition System for Dietary Assessment [6.982738885923204]
  我々は,生活支援のための食品認識アプリケーションの開発に焦点をあてる。 このタスクにMobilenet-v2アーキテクチャを使うことは、正確性とメモリ使用量の両方において有益である。 開発されたモバイルアプリケーションは、画像を介して自動食品認識において視覚障害者に役立てる可能性がある。
  論文  参考訳（メタデータ） (2022-04-20T12:49:36Z)
• Towards Building a Food Knowledge Graph for Internet of Food [66.57235827087092]
  食品分類から食品分類、食品知識グラフまで、食品知識組織の進化を概観する。 食品知識グラフは、食品検索と質問回答(QA)、パーソナライズされた食事レコメンデーション、食品分析、可視化において重要な役割を果たす。 食品知識グラフの今後の方向性は、マルチモーダル食品知識グラフや食品インテリジェンスなど、いくつかの分野をカバーする。
  論文  参考訳（メタデータ） (2021-07-13T06:26:53Z)
• Multi-modal Cooking Workflow Construction for Food Recipes [147.4435186953995]
  ワークフロー構築のための最初の大規模データセットであるMM-ReSを構築した。 本稿では、視覚情報とテキスト情報の両方を利用して調理ワークフローを構築するニューラルエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-20T18:31:25Z)
• Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
  画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。 本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。 食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
  論文  参考訳（メタデータ） (2020-03-09T07:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。