論文の概要: PMG : Personalized Multimodal Generation with Large Language Models
- arxiv url: http://arxiv.org/abs/2404.08677v1
- Date: Sun, 7 Apr 2024 03:05:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-21 19:54:47.230239
- Title: PMG : Personalized Multimodal Generation with Large Language Models
- Title(参考訳): PMG : 大規模言語モデルを用いたパーソナライズされたマルチモーダル生成
- Authors: Xiaoteng Shen, Rui Zhang, Xiaoyan Zhao, Jieming Zhu, Xi Xiao,
- Abstract要約: 本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたマルチモーダル生成手法を提案する。
2つのデータセットに関する広範な実験を通じて、その応用を実証し、その性能を検証する。
PMGのパーソナライゼーションはLPIPSで最大8%向上し, 生成精度は向上した。
- 参考スコア(独自算出の注目度): 20.778869086174137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of large language models (LLMs) has revolutionized the capabilities of text comprehension and generation. Multi-modal generation attracts great attention from both the industry and academia, but there is little work on personalized generation, which has important applications such as recommender systems. This paper proposes the first method for personalized multimodal generation using LLMs, showcases its applications and validates its performance via an extensive experimental study on two datasets. The proposed method, Personalized Multimodal Generation (PMG for short) first converts user behaviors (e.g., clicks in recommender systems or conversations with a virtual assistant) into natural language to facilitate LLM understanding and extract user preference descriptions. Such user preferences are then fed into a generator, such as a multimodal LLM or diffusion model, to produce personalized content. To capture user preferences comprehensively and accurately, we propose to let the LLM output a combination of explicit keywords and implicit embeddings to represent user preferences. Then the combination of keywords and embeddings are used as prompts to condition the generator. We optimize a weighted sum of the accuracy and preference scores so that the generated content has a good balance between them. Compared to a baseline method without personalization, PMG has a significant improvement on personalization for up to 8% in terms of LPIPS while retaining the accuracy of generation.
- Abstract(参考訳): 大規模言語モデル(LLM)の出現は、テキスト理解と生成の能力に革命をもたらした。
マルチモーダル・ジェネレーションは、業界と学術の両方から大きな注目を集めているが、レコメンダ・システムのような重要な応用を持つパーソナライズ・ジェネレーションにはほとんど取り組んでいない。
本稿では,LLMを用いたパーソナライズされたマルチモーダル生成手法を提案する。
提案手法であるPMG(Personalized Multimodal Generation)は,まずユーザの行動(例えば,レコメンダシステムや仮想アシスタントとの会話など)を自然言語に変換し,LLMの理解とユーザの好み記述の抽出を容易にする。
このようなユーザの好みは、マルチモーダルLLMや拡散モデルなどのジェネレータに入力され、パーソナライズされたコンテンツを生成する。
ユーザの嗜好を包括的かつ正確に把握するために,LLMは明示的なキーワードと暗黙的な埋め込みの組み合わせを出力してユーザの嗜好を表現することを提案する。
次に、キーワードと埋め込みの組み合わせを、ジェネレータを条件付けるプロンプトとして使用する。
精度と嗜好スコアの重み付け和を最適化し、生成したコンテンツのバランスが良くなるようにする。
パーソナライゼーションのないベースライン法と比較して、PMGはLPIPSの精度を保ちながら、パーソナライズを最大8%改善する。
関連論文リスト
- Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation [23.174810143027234]
本稿では,大規模言語モデル(LLM)のパーソナライズのための検索強化アプローチについて検討する。
パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。
論文 参考訳(メタデータ) (2024-04-09T02:58:05Z) - Relative Preference Optimization: Enhancing LLM Alignment through
Contrasting Responses across Identical and Diverse Prompts [100.76940486636121]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文で提示された結果を再現するために必要なPyTorchコードは、GitHubで公開されている。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z) - LightLM: A Lightweight Deep and Narrow Language Model for Generative
Recommendation [45.00339682494516]
LightLMは、生成レコメンデーションのための軽量トランスフォーマーベースの言語モデルである。
LightLMは軽量のディープトランスフォーマーアーキテクチャを導入することでこの問題に対処している。
また,SCI(Spectral Collaborative Indexing)とグラフコラボレーションインデックス(Graph Collaborative Indexing,GCI)という,考案したユーザIDとアイテムIDのインデックス化手法によって,大規模言語モデルよりも高い精度で,より深く狭いトランスフォーマーアーキテクチャを実現することも示す。
論文 参考訳(メタデータ) (2023-10-26T15:44:57Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - LLM-Rec: Personalized Recommendation via Prompting Large Language Models [62.481065357472964]
大きな言語モデル(LLM)は、常識的な知識と推論を活用する能力を示した。
大規模言語モデル(LLM)の最近の進歩は、コモンセンスの知識と推論を活用できることを顕著に示している。
本研究では,パーソナライズされたテキストベースのレコメンデーションを改善するために,テキストエンリッチメントの4つの異なる促進戦略を取り入れた新しいアプローチ LLM-Rec を提案する。
論文 参考訳(メタデータ) (2023-07-24T18:47:38Z) - GenRec: Large Language Model for Generative Recommendation [41.22833600362077]
本稿では,テキストデータに基づく大規模言語モデル(LLM)を用いたレコメンデーションシステムに対する革新的なアプローチを提案する。
GenRecはLLMの理解機能を使ってコンテキストを解釈し、ユーザの好みを学習し、関連するレコメンデーションを生成する。
本研究は,レコメンデーションシステムの領域に革命をもたらす上で,LLMに基づくジェネレーティブレコメンデーションの可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-07-02T02:37:07Z) - Extrapolating Multilingual Understanding Models as Multilingual
Generators [82.1355802012414]
本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。
少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:33:21Z) - PALR: Personalization Aware LLMs for Recommendation [7.407353565043918]
PALRは、ユーザ履歴の振る舞い(クリック、購入、評価など)と大きな言語モデル(LLM)を組み合わせることで、ユーザの好むアイテムを生成することを目的としている。
我々のソリューションは、様々なシーケンシャルなレコメンデーションタスクにおいて最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2023-05-12T17:21:33Z) - Recommendation as Instruction Following: A Large Language Model
Empowered Recommendation Approach [83.62750225073341]
我々は、大規模言語モデル(LLM)による指示としてレコメンデーションを考える。
まず、ユーザの好み、意図、タスクフォーム、コンテキストを自然言語で記述するための一般的な命令形式を設計する。
そして、39の命令テンプレートを手動で設計し、大量のユーザ個人化された命令データを自動的に生成する。
論文 参考訳(メタデータ) (2023-05-11T17:39:07Z) - LaMP: When Large Language Models Meet Personalization [39.123842095386635]
本稿では,大規模言語モデルにおけるパーソナライズの重要性を強調し,LaMPベンチマークを導入する。
LaMPは、パーソナライズされた出力を生成するための言語モデルのトレーニングと評価のための新しいベンチマークである。
論文 参考訳(メタデータ) (2023-04-22T13:42:04Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。