論文の概要: PMG : Personalized Multimodal Generation with Large Language Models
- arxiv url: http://arxiv.org/abs/2404.08677v1
- Date: Sun, 7 Apr 2024 03:05:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-21 19:54:47.230239
- Title: PMG : Personalized Multimodal Generation with Large Language Models
- Title（参考訳）: PMG : 大規模言語モデルを用いたパーソナライズされたマルチモーダル生成
- Authors: Xiaoteng Shen, Rui Zhang, Xiaoyan Zhao, Jieming Zhu, Xi Xiao,
- Abstract要約: 本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたマルチモーダル生成手法を提案する。
2つのデータセットに関する広範な実験を通じて、その応用を実証し、その性能を検証する。
PMGのパーソナライゼーションはLPIPSで最大8%向上し, 生成精度は向上した。
- 参考スコア（独自算出の注目度）: 20.778869086174137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of large language models (LLMs) has revolutionized the capabilities of text comprehension and generation. Multi-modal generation attracts great attention from both the industry and academia, but there is little work on personalized generation, which has important applications such as recommender systems. This paper proposes the first method for personalized multimodal generation using LLMs, showcases its applications and validates its performance via an extensive experimental study on two datasets. The proposed method, Personalized Multimodal Generation (PMG for short) first converts user behaviors (e.g., clicks in recommender systems or conversations with a virtual assistant) into natural language to facilitate LLM understanding and extract user preference descriptions. Such user preferences are then fed into a generator, such as a multimodal LLM or diffusion model, to produce personalized content. To capture user preferences comprehensively and accurately, we propose to let the LLM output a combination of explicit keywords and implicit embeddings to represent user preferences. Then the combination of keywords and embeddings are used as prompts to condition the generator. We optimize a weighted sum of the accuracy and preference scores so that the generated content has a good balance between them. Compared to a baseline method without personalization, PMG has a significant improvement on personalization for up to 8% in terms of LPIPS while retaining the accuracy of generation.
- Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、テキスト理解と生成の能力に革命をもたらした。
マルチモーダル・ジェネレーションは、業界と学術の両方から大きな注目を集めているが、レコメンダ・システムのような重要な応用を持つパーソナライズ・ジェネレーションにはほとんど取り組んでいない。
本稿では,LLMを用いたパーソナライズされたマルチモーダル生成手法を提案する。
提案手法であるPMG(Personalized Multimodal Generation)は,まずユーザの行動(例えば,レコメンダシステムや仮想アシスタントとの会話など)を自然言語に変換し,LLMの理解とユーザの好み記述の抽出を容易にする。
このようなユーザの好みは、マルチモーダルLLMや拡散モデルなどのジェネレータに入力され、パーソナライズされたコンテンツを生成する。
ユーザの嗜好を包括的かつ正確に把握するために,LLMは明示的なキーワードと暗黙的な埋め込みの組み合わせを出力してユーザの嗜好を表現することを提案する。
次に、キーワードと埋め込みの組み合わせを、ジェネレータを条件付けるプロンプトとして使用する。
精度と嗜好スコアの重み付け和を最適化し、生成したコンテンツのバランスが良くなるようにする。
パーソナライゼーションのないベースライン法と比較して、PMGはLPIPSの精度を保ちながら、パーソナライズを最大8%改善する。
関連論文リスト
- MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。
LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。
提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-10-18T05:31:13Z) - Retrieval-Augmented Personalization for Multimodal Large Language Models [53.304699445700926]
本稿では,MLLMのパーソナライズのためのRAP(Retrieval Augmented Personalization)フレームワークを紹介する。
RAPは、外部データベースを更新することで、リアルタイムの概念編集を可能にする。
RAP-MLLMは、追加の微調整なしで無限の視覚概念に一般化することができる。
論文 参考訳（メタデータ） (2024-10-17T09:10:26Z) - LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。
これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。
そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
論文 参考訳（メタデータ） (2024-09-18T11:54:45Z) - Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。
我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。
M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
論文 参考訳（メタデータ） (2024-09-03T04:55:03Z) - Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation [21.281471662696372]
本稿では,MLLM-MSRモデルを提案する。
動的ユーザの嗜好を捉えるために,2段階のユーザ選好要約法を設計する。
次に、ユーザ嗜好の動的変化を捉えるために、繰り返しユーザー嗜好要約生成パラダイムを用いる。
論文 参考訳（メタデータ） (2024-08-19T04:44:32Z) - Orchestrating LLMs with Different Personalizations [28.344891363780576]
本稿では,大規模言語モデル(LLM)と個人の嗜好を一致させる新しいアプローチを提案する。
有用性、簡潔性、ユーモアなど、複数の次元に沿って記述された嗜好を踏まえると、ゴールは、この仕様に最もよく準拠する再訓練をせずにLLMを作成することである。
1つの特定の選好次元で訓練された専門的なLSMから始め、各トーケンレベルで出力をマージするブラックボックス法を提案する。
論文 参考訳（メタデータ） (2024-07-04T22:55:02Z) - Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。
得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。
MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文 参考訳（メタデータ） (2024-05-26T00:29:04Z) - Doing Personal LAPS: LLM-Augmented Dialogue Construction for Personalized Multi-Session Conversational Search [9.243535345193711]
提案手法は,大規模言語モデルを用いて,個人化された対話を生成するために,一人の人間労働者を誘導する。
LAPSは大規模、人書き、マルチセッション、マルチドメインの会話を収集できる。
その結果,抽出された嗜好を用いて明示的に生成した応答は,ユーザの実際の嗜好と一致していることがわかった。
論文 参考訳（メタデータ） (2024-05-06T13:53:03Z) - Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation [23.174810143027234]
本稿では,大規模言語モデル(LLM)のパーソナライズのための検索強化アプローチについて検討する。
パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。
論文 参考訳（メタデータ） (2024-04-09T02:58:05Z) - RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。
本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。
効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
論文 参考訳（メタデータ） (2023-11-18T03:05:43Z) - LLM-Rec: Personalized Recommendation via Prompting Large Language Models [62.481065357472964]
大きな言語モデル(LLM)は、常識的な知識と推論を活用する能力を示した。
大規模言語モデル(LLM)の最近の進歩は、コモンセンスの知識と推論を活用できることを顕著に示している。
本研究では,パーソナライズされたテキストベースのレコメンデーションを改善するために,テキストエンリッチメントの4つの異なる促進戦略を取り入れた新しいアプローチ LLM-Rec を提案する。
論文 参考訳（メタデータ） (2023-07-24T18:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。