論文の概要: From Personal to Collective: On the Role of Local and Global Memory in LLM Personalization
- arxiv url: http://arxiv.org/abs/2509.23767v1
- Date: Sun, 28 Sep 2025 09:32:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.432859
- Title: From Personal to Collective: On the Role of Local and Global Memory in LLM Personalization
- Title(参考訳): 個人から集団へ:LLMパーソナライゼーションにおける局所記憶とグローバル記憶の役割
- Authors: Zehong Wang, Junlin Wu, ZHaoxuan Tan, Bolian Li, Xianrui Zhong, Zheli Liu, Qingkai Zeng,
- Abstract要約: 大規模言語モデル(LLM)のパーソナライゼーションは、過去のインタラクションに基づいて、個人ユーザに対して振る舞いをモデル化することを目的としている。
ローカルメモリとグローバルメモリを組み合わせたローカル・グローバル・メモリ・フレームワーク(LoGo)を提案する。
LoGoは、コールドスタートユーザーを温め、バイアスのある予測を緩和することで、パーソナライズ品質を継続的に改善する。
- 参考スコア(独自算出の注目度): 26.73051175954011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) personalization aims to tailor model behavior to individual users based on their historical interactions. However, its effectiveness is often hindered by two key challenges: the \textit{cold-start problem}, where users with limited history provide insufficient context for accurate personalization, and the \textit{biasing problem}, where users with abundant but skewed history cause the model to overfit to narrow preferences. We identify both issues as symptoms of a common underlying limitation, i.e., the inability to model collective knowledge across users. To address this, we propose a local-global memory framework (LoGo) that combines the personalized local memory with a collective global memory that captures shared interests across the population. To reconcile discrepancies between these two memory sources, we introduce a mediator module designed to resolve conflicts between local and global signals. Extensive experiments on multiple benchmarks demonstrate that LoGo consistently improves personalization quality by both warming up cold-start users and mitigating biased predictions. These results highlight the importance of incorporating collective knowledge to enhance LLM personalization.
- Abstract(参考訳): 大規模言語モデル(LLM)のパーソナライゼーションは、過去のインタラクションに基づいて、個人ユーザに対して振る舞いをモデル化することを目的としている。
しかし、その効果は、限られた歴史を持つユーザーが正確なパーソナライズに不十分なコンテキストを提供する「textit{cold-start problem」と、豊富だが歪んだ歴史を持つユーザーが狭い好みに過度に適合する「textit{biasing problem」の2つの主要な課題によって妨げられることが多い。
両問題を,共通の制約,すなわちユーザ間での集合的知識のモデル化ができないという症状として認識する。
そこで本研究では,個人化されたローカルメモリと集団的グローバルメモリを組み合わせたローカル・グローバル・メモリ・フレームワーク(LoGo)を提案する。
これら2つのメモリ源の相違を解消するために,ローカル信号とグローバル信号の相違を解消するメディエータモジュールを導入する。
複数のベンチマークに関する大規模な実験は、LoGoがコールドスタートユーザーのウォームアップとバイアス予測の緩和の両方によって、パーソナライズ品質を一貫して改善していることを示している。
これらの結果は、LLMのパーソナライゼーションを強化するために、総合的な知識を取り入れることの重要性を強調している。
関連論文リスト
- PRIME: Large Language Model Personalization with Cognitive Dual-Memory and Personalized Thought Process [6.27203886967197]
大規模言語モデル(LLM)のパーソナライゼーションは、モデルのアウトプットを個人の独特な好みや意見と整合させることを目的としている。
本稿では,エピソードおよびセマンティックメモリ機構を用いた統一フレームワークPRIMEを提案する。
実験はPRIMEの有効性を長文と短文の両方のシナリオで検証する。
論文 参考訳(メタデータ) (2025-07-07T01:54:34Z) - NextQuill: Causal Preference Modeling for Enhancing LLM Personalization [82.15961484963256]
因果選好モデルに基づく新しいパーソナライズフレームワークであるNextQuillを紹介する。
この洞察に基づいて、NextQuillは2つの補完的なアライメント戦略を導入した。
複数のパーソナライズベンチマークの実験により、NextQuillはパーソナライズ品質を大幅に改善することが示された。
論文 参考訳(メタデータ) (2025-06-03T02:08:55Z) - MemoCRS: Memory-enhanced Sequential Conversational Recommender Systems with Large Language Models [51.65439315425421]
大規模言語モデルを用いたメモリ拡張型会話レコメンダシステムフレームワーク(MemoCRS)を提案する。
ユーザ固有のメモリは、パーソナライズされた関心事のために各ユーザに合わせて調整される。
共同知識と推論ガイドラインをカプセル化した一般的な記憶は、ユーザに共有知識を提供することができる。
論文 参考訳(メタデータ) (2024-07-06T04:57:25Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Causal Structure Representation Learning of Confounders in Latent Space for Recommendation [29.116042992171987]
ユーザの過去のフィードバックからユーザの好みを推測することは,レコメンデーションシステムにおいて重要な問題である。
我々は、共同創設者の影響を考慮し、潜在分野におけるユーザー嗜好から引き離し、相互依存をモデル化するために因果グラフを用いる。
論文 参考訳(メタデータ) (2023-11-02T08:46:07Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳(メタデータ) (2022-02-10T20:44:44Z) - Federated Distillation of Natural Language Understanding with Confident
Sinkhorns [12.681983862338619]
ユーザデバイス上で訓練された(ローカル)モデルのフェデレーションから,中央(グローバル)モデルを学習するためのアプローチを提案する。
グローバルモデルを学ぶためには,局所モデルに割り当てられたソフトターゲットの信頼度から,グローバルモデル予測の最適輸送コストを最小化する。
論文 参考訳(メタデータ) (2021-10-06T00:44:00Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。