論文の概要: Purrfessor: A Fine-tuned Multimodal LLaVA Diet Health Chatbot

• arxiv url: http://arxiv.org/abs/2411.14925v1
• Date: Fri, 22 Nov 2024 13:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 18:36:28.563364
• Title: Purrfessor: A Fine-tuned Multimodal LLaVA Diet Health Chatbot
• Title（参考訳）: Purrfessor: マルチモーダルなLLaVAフードヘルスチャットボット
• Authors: Linqi Lu, Yifan Deng, Chuan Tian, Sijia Yang, Dhavan Shah,
• Abstract要約: Purrfessorは対話的でマルチモーダルなエンゲージメントを通じて、パーソナライズされた食事指導を提供する。 食品と栄養データと人道へのアプローチを微調整したモデル。
• 参考スコア（独自算出の注目度）: 1.7143352199499773
• License:
• Abstract: This study introduces Purrfessor, an innovative AI chatbot designed to provide personalized dietary guidance through interactive, multimodal engagement. Leveraging the Large Language-and-Vision Assistant (LLaVA) model fine-tuned with food and nutrition data and a human-in-the-loop approach, Purrfessor integrates visual meal analysis with contextual advice to enhance user experience and engagement. We conducted two studies to evaluate the chatbot's performance and user experience: (a) simulation assessments and human validation were conducted to examine the performance of the fine-tuned model; (b) a 2 (Profile: Bot vs. Pet) by 3 (Model: GPT-4 vs. LLaVA vs. Fine-tuned LLaVA) experiment revealed that Purrfessor significantly enhanced users' perceptions of care ($\beta = 1.59$, $p = 0.04$) and interest ($\beta = 2.26$, $p = 0.01$) compared to the GPT-4 bot. Additionally, user interviews highlighted the importance of interaction design details, emphasizing the need for responsiveness, personalization, and guidance to improve user engagement.
• Abstract（参考訳）: この研究は、対話的でマルチモーダルなエンゲージメントを通じて、パーソナライズされた食事指導を提供するように設計された革新的なAIチャットボットであるPurrfessorを紹介した。 Large Language-and-Vision Assistant (LLaVA)モデルを利用することで、食事と栄養データと人間のループアプローチを微調整し、Purrfessorは視覚的な食事分析とコンテキストアドバイスを統合し、ユーザエクスペリエンスとエンゲージメントを向上させる。 チャットボットの性能とユーザ体験を評価するための2つの研究を行った。 (a) 微調整モデルの性能を調べるためのシミュレーション評価と人的検証を行った。 b) 2 (Profile: Bot vs. Pet) by 3 (Model: GPT-4 vs. LLaVA vs. Fine-tuned LLaVA) 実験の結果、Purrfessor は GPT-4 ボットと比較して、ユーザーのケアに対する認識(\beta = 1.59$, $p = 0.04$)と関心(\beta = 2.26$, $p = 0.01$)を著しく向上させた。 さらにユーザインタビューでは、インタラクション設計の詳細の重要性を強調し、応答性、パーソナライゼーション、ユーザエンゲージメント向上のためのガイダンスの必要性を強調した。

関連論文リスト

• VLRewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models [66.56298924208319]
  視覚言語生成報酬モデル(VL-GenRM)は、マルチモーダルAIシステムの調整と評価において重要な役割を果たす。 現在のアセスメント手法は、従来のタスクからAIアノテートされた好みラベルに依存している。 VL-RewardBenchは、一般的なマルチモーダルクエリ、視覚幻覚検出、複雑な推論タスクにまたがるベンチマークである。
  論文  参考訳（メタデータ） (2024-11-26T14:08:34Z)
• VLFeedback: A Large-Scale AI Feedback Dataset for Large Vision-Language Models Alignment [55.7956150385255]
  本稿では,視覚言語モデルの整合性向上のためのAIフィードバックの有効性について検討する。 最初の大規模視覚言語フィードバックデータセットであるVLFeedbackを紹介する。 我々は、VLFeedback上で直接選好最適化によって微調整されたLVLMであるSilkieを訓練する。
  論文  参考訳（メタデータ） (2024-10-12T07:56:47Z)
• Dialogue You Can Trust: Human and AI Perspectives on Generated Conversations [1.178527785547223]
  本研究では,対話シナリオにおける人間とAIアセスメントの比較パフォーマンスについて検討する。 実験1では,コヒーレンス,イノベーション,具体性,ゴールコントリビューションに関する多人数会話を評価した。 実験2では,ダイアドダイアログに着目し,コモンセンス・コントラディクション,不正確なファクト,冗長性を評価した。
  論文  参考訳（メタデータ） (2024-09-03T11:40:38Z)
• BotEval: Facilitating Interactive Human Evaluation [21.99269491969255]
  BotEvalは評価プロセスの一部として人間とボットのインタラクションを可能にする評価ツールキットである。 我々は、評価プロセスの一部として、人間とボットの対話を可能にすることに焦点を当てた、カスタマイズが容易でオープンソースの評価ツールキットBotEvalを開発した。
  論文  参考訳（メタデータ） (2024-07-25T04:57:31Z)
• Vibe-Eval: A hard evaluation suite for measuring progress of multimodal language models [67.62126108440003]
  マルチモーダルチャットモデルを評価するための新しいオープンベンチマークとフレームワークであるVibe-Evalを紹介する。 Vibe-Evalは、100の難易度を含む269の視覚的理解プロンプトで構成され、専門家によって書かれたゴールド標準応答が完備している。 本稿では,人間と自動評価のトレードオフについて論じるとともに,Reka Coreを用いた自動モデル評価が人的判断と大まかに相関していることを示す。
  論文  参考訳（メタデータ） (2024-05-03T17:59:55Z)
• ViTGaze: Gaze Following with Interaction Features in Vision Transformers [42.08842391756614]
  本稿では, ViTGaze という新しい単一モダリティ・ギャラクシー・フレームワークを紹介する。 従来の手法とは対照的に、主に強力なエンコーダに基づく新しい視線追跡フレームワークを作成する。 本手法は,すべての単一モダリティ手法において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2024-03-19T14:45:17Z)
• Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases [98.35348038111508]
  本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。 分析の核となるのは、各モデルの視覚的理解能力である。 両モデルのユニークな強みとニッチを照らし出した。
  論文  参考訳（メタデータ） (2023-12-22T18:59:58Z)
• Silkie: Preference Distillation for Large Visual Language Models [56.10697821410489]
  本稿では,大型視覚言語モデル(LVLM)の嗜好蒸留について検討する。 まず,AIアノテーションを用いた視覚言語フィードバックデータセットを構築した。 我々は, GPT-4V を用いて, 有用性, 視覚的忠実性, 倫理的考察のアウトプットを評価する。 結果として得られたモデルSilkieは、認知能力と認知能力に関するMMEベンチマークで6.9%と9.5%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2023-12-17T09:44:27Z)
• ChatGPT: Jack of all trades, master of none [4.693597927153063]
  OpenAIはChat Generative Pre-trained Transformer (ChatGPT)をリリースした。 25種類のNLPタスクにおけるChatGPTの機能について検討した。 われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。
  論文  参考訳（メタデータ） (2023-02-21T15:20:37Z)
• Investigation of Sentiment Controllable Chatbot [50.34061353512263]
  本稿では,反応の感情をスケールまたは調整する4つのモデルについて検討する。 モデルはペルソナベースのモデル、強化学習、プラグアンドプレイモデル、CycleGANである。 入力に対して応答が妥当かどうかを推定するために,機械評価メトリクスを開発する。
  論文  参考訳（メタデータ） (2020-07-11T16:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。