論文の概要: COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation
- arxiv url: http://arxiv.org/abs/2609.26853v1
- Date: Tue, 22 Sep 2026 12:23:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.698898
- Title: COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation
- Title（参考訳）: COPE:ユーザ埋め込みと自己評価による疎ユーザフィードバック下でのLCMの継続的なパーソナライズ
- Abstract要約: ユーザフィードバックの少ない実世界のインタラクション設定に適した,新しい最適化フレームワークであるCOPEを提案する。
本フレームワークは、各ユーザに対して学習可能なパーソナライズド埋め込みを割り当て、好みのキャプチャ、自己評価のキャリブレーション、パーソナライズドレスポンスの最適化を単一の更新ステップで統合する。
実験では、COPEはスパースフィードバックの下で、強いトレーニングフリーとトレーニングベースラインを一貫して上回ります。
- 参考スコア（独自算出の注目度）: 3.7175331524277233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Large Language Models (LLMs) have achieved remarkable results across various benchmarks, their alignment with normative values often results in homogenized responses that fail to address diverse user preferences. Existing training-free methods often occupy valuable context windows through prompt engineering, while training-based methods typically remain static post-training, failing to support the continual optimization required in real-world settings. To address these challenges, we propose COPE (Continual Optimization with Personalized embedding and self-Evaluation), a novel optimization framework tailored for real-world-motivated interaction settings with sparse user feedback. Our framework assigns learnable personalized embeddings to each user and synergistically integrates preference capture, self-evaluation calibration, and personalized response optimization within a single update step. A key innovation of our method is the use of self-evaluation to generate proxy rewards, enabling continuous model updates even when explicit user feedback is unavailable. Experiments show that COPE consistently outperforms strong training-free and training-based baselines under sparse feedback, and remains complementary to Retrieval-Augmented Prompting (RAP). Further analyses confirm COPE's reliable self-evaluation, meaningful preference patterns, stable general capabilities, and robustness under shifting preferences and alternative evaluators.
- Abstract（参考訳）: LLM(Large Language Models)は様々なベンチマークで顕著な結果を得ているが、基準値との整合性はしばしば、多様なユーザの好みに対処できない均質化された応答をもたらす。
既存のトレーニングフリーメソッドは、プロンプトエンジニアリングを通じて貴重なコンテキストウィンドウを占有することが多いが、トレーニングベースのメソッドは通常、トレーニング後の静的なままであり、現実世界の設定で必要とされる継続的な最適化をサポートしない。
このような課題に対処するため,我々は,ユーザフィードバックの少ない実世界のインタラクション設定に適した新しい最適化フレームワークであるCOPE(Continual Optimization with Personalized Embedding and Self-Evaluation)を提案する。
本フレームワークは、各ユーザに対して学習可能なパーソナライズされた埋め込みを割り当て、単一の更新ステップで、好みのキャプチャ、自己評価のキャリブレーション、パーソナライズされた応答最適化を相乗的に統合する。
我々の方法の重要な革新は、プロキシ報酬を生成するために自己評価を使用することであり、明示的なユーザフィードバックが利用できない場合でも、継続的なモデル更新を可能にする。
実験によると、COPEはスパースフィードバックの下で、強いトレーニングフリーとトレーニングベースラインを一貫して上回り、Retrieval-Augmented Prompting (RAP) を補完している。
さらに、COPEの信頼性の高い自己評価、有意義な嗜好パターン、安定な汎用能力、そしてシフトする選好と代替評価条件下での堅牢性を確認した。
関連論文リスト
- Hypotheses-Guided Self Distillation for Continual Personalization [16.17908994206264]
我々はHypReflectを紹介した。HypReflectは継続的パーソナライゼーションのための信頼性が高くスケーラブルなフレームワークだ。
HypReflectは、多様なユーザ信号から明示的で不確実性を認識した選好仮説を推論する。
結果は、信頼性とスケーラブルな継続的パーソナライゼーションへの一歩を示唆している。
論文 参考訳（メタデータ） (2026-08-31T18:52:21Z) - Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement [4.027292457517535]
暗黙のインタラクションストリームから動的ユーザペルソナを直接学習するフレームワークであるIRISを提案する。
IRISは安定したペルソナを生成し、メモリのみのアプローチの限界を明らかにしながら個々のユーザーを区別する。
我々は、匿名化されたReddit r/AmItheAsshole (AITA)データに基づいてIRISを検証する。
論文 参考訳（メタデータ） (2026-07-29T04:56:14Z) - Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。
静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。
実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文 参考訳（メタデータ） (2026-05-29T17:00:55Z) - Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。
パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。
我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
論文 参考訳（メタデータ） (2026-02-12T20:41:22Z) - GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。
次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。
GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
論文 参考訳（メタデータ） (2026-01-08T18:59:24Z) - POPI: Personalizing LLMs via Optimized Natural Language Preference Inference [42.25870704040321]
POPIは、不均一なユーザ信号を簡潔な自然言語要約に変換するための選好推論モデルを導入する一般的なフレームワークである。
これらの要約は、パーソナライズされた応答を生成するために共有生成モデルを必要とする透明でコンパクトで、転送可能なパーソナライズ表現として機能する。
4つのパーソナライズベンチマークによる大規模な実験により、POPIはパーソナライズ精度を常に改善し、コンテキストオーバーヘッドを大きなマージンで低減することを示した。
論文 参考訳（メタデータ） (2025-10-17T23:07:57Z) - What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context [56.590259941275434]
RecPOは、シーケンシャルなレコメンデーションのための優先順位最適化フレームワークである。
これは、推定された嗜好階層と時間信号に基づいて適応的な報酬マージンを利用する。
タイムリーな満足感、コヒーレントな嗜好の維持、変化する状況下での識別の行使など、人間の意思決定の重要な特徴を反映している。
論文 参考訳（メタデータ） (2025-06-02T21:09:29Z) - Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。
提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。
近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-11-13T16:15:38Z) - TSO: Self-Training with Scaled Preference Optimization [14.3799656174528]
我々は、追加の報酬モデルを訓練することなく、自己学習による選好学習を行う、選好最適化のためのフレームワークTSOを提案する。
TSOは、モデル行列を構築し、人間の嗜好応答を取り入れることで、応答の多様性を高める。
実験の結果、TSOは様々なアライメント評価ベンチマークにおいて、既存の主流手法よりも優れていた。
論文 参考訳（メタデータ） (2024-08-31T05:37:01Z) - Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。
負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
論文 参考訳（メタデータ） (2024-05-31T14:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。