論文の概要: Personalized Visual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2410.07113v1
• Date: Wed, 9 Oct 2024 17:46:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 22:17:22.876201
• Title: Personalized Visual Instruction Tuning
• Title（参考訳）: パーソナライズされたビジュアルインストラクションチューニング
• Authors: Renjie Pi, Jianshu Zhang, Tianyang Han, Jipeng Zhang, Rui Pan, Tong Zhang,
• Abstract要約: MLLM(Multimodal large language model)は、一般的な会話を行うが、特定の個人をターゲットにした対話を行うことができない。 この欠陥は、モバイルデバイスのカスタマイズされた視覚アシスタントなど、パーソナライズされた設定におけるMLLMの適用を妨げる。 我々は、MLLMが画像内のターゲット個人を識別できるように設計された新しいデータキュレーションおよびトレーニングフレームワークである、パーソナライズド・ビジュアル・インストラクション・チューニング(PVIT)を紹介する。
• 参考スコア（独自算出の注目度）: 30.677058613937067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in multimodal large language models (MLLMs) have demonstrated significant progress; however, these models exhibit a notable limitation, which we refer to as "face blindness". Specifically, they can engage in general conversations but fail to conduct personalized dialogues targeting at specific individuals. This deficiency hinders the application of MLLMs in personalized settings, such as tailored visual assistants on mobile devices, or domestic robots that need to recognize members of the family. In this paper, we introduce Personalized Visual Instruction Tuning (PVIT), a novel data curation and training framework designed to enable MLLMs to identify target individuals within an image and engage in personalized and coherent dialogues. Our approach involves the development of a sophisticated pipeline that autonomously generates training data containing personalized conversations. This pipeline leverages the capabilities of various visual experts, image generation models, and (multi-modal) large language models. To evaluate the personalized potential of MLLMs, we present a benchmark called P-Bench, which encompasses various question types with different levels of difficulty. The experiments demonstrate a substantial personalized performance enhancement after fine-tuning with our curated dataset.
• Abstract（参考訳）: 近年のMLLM(Multimodal large language model)の進歩は顕著な進歩を遂げているが,これらのモデルには顕著な限界があり,これを「顔の盲点」と呼ぶ。 具体的には、一般的な会話をすることができるが、特定の個人をターゲットとしたパーソナライズされた対話を行うことができない。 この欠陥は、モバイルデバイスのカスタマイズされた視覚アシスタントや、家族の認識が必要な家庭内ロボットなど、パーソナライズされた設定におけるMLLMの適用を妨げる。 本稿では、画像内の対象個人を特定し、パーソナライズされたコヒーレントな対話を行うための新しいデータキュレーションおよびトレーニングフレームワークである、パーソナライズド・ビジュアル・インストラクション・チューニング(PVIT)を紹介する。 このアプローチでは、パーソナライズされた会話を含むトレーニングデータを自律的に生成する高度なパイプラインを開発する。 このパイプラインは、様々なビジュアルエキスパート、画像生成モデル、および(マルチモーダル)大規模言語モデルの能力を活用する。 MLLMのパーソナライズされたポテンシャルを評価するため,P-Benchというベンチマークを作成した。 この実験は、キュレートしたデータセットを微調整した後に、かなりパーソナライズされたパフォーマンス向上を示す。

関連論文リスト

• Face-MLLM: A Large Face Perception Model [53.9441375205716]
  マルチモーダルな大規模言語モデル(MLLM)は、幅広い視覚言語タスクにおいて有望な結果を得たが、人間の顔を知覚し理解する能力はめったに研究されていない。 本研究では,顔認識タスクにおける既存のMLLMを包括的に評価する。 本モデルは,5つの顔認識タスクにおいて,従来のMLLMを超えている。
  論文  参考訳（メタデータ） (2024-10-28T04:19:32Z)
• Retrieval-Augmented Personalization for Multimodal Large Language Models [53.304699445700926]
  本稿では,MLLMのパーソナライズのためのRAP(Retrieval Augmented Personalization)フレームワークを紹介する。 RAPは、外部データベースを更新することで、リアルタイムの概念編集を可能にする。 RAP-MLLMは、追加の微調整なしで無限の視覚概念に一般化することができる。
  論文  参考訳（メタデータ） (2024-10-17T09:10:26Z)
• PEFT-U: Parameter-Efficient Fine-Tuning for User Personalization [9.594958534074074]
  ユーザパーソナライズのためのNLPモデルの構築と評価のための新しいデータセットであるPEFT-Uベンチマークを紹介する。 多様なユーザ中心タスクのコンテキストにおいて、LLMを効率よくパーソナライズし、ユーザ固有の嗜好に適合させるという課題について検討する。
  論文  参考訳（メタデータ） (2024-07-25T14:36:18Z)
• Towards Unified Multi-Modal Personalization: Large Vision-Language Models for Generative Recommendation and Beyond [87.1712108247199]
  我々の目標は、マルチモーダルパーソナライゼーションシステム(UniMP)のための統一パラダイムを確立することである。 我々は、幅広いパーソナライズされたニーズに対処できる汎用的でパーソナライズされた生成フレームワークを開発する。 我々の手法は、パーソナライズされたタスクのための基礎言語モデルの能力を高める。
  論文  参考訳（メタデータ） (2024-03-15T20:21:31Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Personalized Large Language Models [1.0881867638866944]
  本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。 その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。 感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-14T15:55:30Z)
• MEIA: Multimodal Embodied Perception and Interaction in Unknown Environments [82.67236400004826]
  本稿では,自然言語で表現されたハイレベルなタスクを実行可能なアクションのシーケンスに変換するための,MEIA(Multimodal Embodied Interactive Agent)を提案する。 MEMモジュールは、多様な要件とロボットの能力に基づいて、MEIAが実行可能なアクションプランを生成することを可能にする。
  論文  参考訳（メタデータ） (2024-02-01T02:43:20Z)
• When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities [60.5609416496429]
  大規模言語モデルの能力は劇的に改善されている。 このような大きな飛躍的なAI能力は、パーソナライゼーションの実施方法のパターンを変えるだろう。 大規模言語モデルを汎用インターフェースとして活用することにより、パーソナライズシステムはユーザ要求を計画にコンパイルすることができる。
  論文  参考訳（メタデータ） (2023-07-31T02:48:56Z)
• MIMIC-IT: Multi-Modal In-Context Instruction Tuning [44.879418596312554]
  本稿では,280万のマルチモーダル・インストラクション・レスポンス・ペアからなるデータセットについて述べる。 MIMIC-ITデータセットを用いて、Otterはマルチモーダル認識、推論、文脈内学習において顕著な習熟度を示した。 我々はMIMIC-ITデータセット、命令応答型コレクションパイプライン、ベンチマーク、オッターモデルをリリースする。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。