Fugu-MT 論文翻訳(概要): Evaluating the Hidden Costs of Personalization in Large Language Models

論文の概要: Evaluating the Hidden Costs of Personalization in Large Language Models

arxiv url: http://arxiv.org/abs/2608.28833v1
Date: Fri, 28 Aug 2026 20:05:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.762916
Title: Evaluating the Hidden Costs of Personalization in Large Language Models
Title（参考訳）: 大規模言語モデルにおける隠れたパーソナライズコストの評価
Abstract要約: 我々は,(1)無関係なパーソナライゼーション,(2)不必要な文脈で個人情報を参照するモデル,(2)好みの絞り込み,(2)情報エコーチャンバーを補強するモデル,(3)覚醒バイアス,(3)モデルがユーザの意見に過度に同意するモデル,の3つのリスクを識別する。我々は、現在のAIアシスタントの体系的な制限を明らかにするために、自動データ生成と調整されたメトリクスを備えた動的評価フレームワークであるPRISKを提案する。
参考スコア（独自算出の注目度）: 55.07935163900691
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While Large language models (LLMs) incorporate user personalization signals to improve usability and helpfulness, they increasingly shift from providing balanced, informative responses toward optimizing for user satisfaction when conditioned on personal context such as conversation history, inferred preferences, and user profiles. Specifically, we identify three emerging risks: (1) irrelevant personalization, where models reference personal information in unnecessary contexts; (2) preference narrowing, where models reinforce informational echo chambers; and (3) sycophantic bias, where models agree excessively with user opinions. As a result, models may reference personal information in contexts where it is unnecessary, inadvertently collapse response diversity, or agree excessively with user opinions. Despite the growing use of personalization in AI assistants, there has been limited systematic evaluation of its potential side effects. To bridge this gap, we propose PRISK, a dynamic evaluation framework with automated data generation and tailored metrics that uncovers systematic limitations in current LLM personalization and how personalized information shapes its responses. Our empirical analysis across 13 LLMs demonstrates the presence of user profiles and retrieved memories consistently exacerbates biases, resulting in an average drop of 45.9% in irrelevant personalization, 41.7% in preference narrowing and 61.7% in sycophantic bias.
Abstract（参考訳）: 大きな言語モデル(LLM)はユーザパーソナライズ信号を取り入れてユーザビリティと利便性を向上させる一方で、会話履歴や推論された嗜好、ユーザプロファイルといった個人的コンテキストで条件付けされた場合、ユーザ満足度を最適化するためのバランスのとれた情報的応答の提供から、ユーザ満足度へのシフトが増えている。具体的には,(1)無関係なパーソナライゼーション,(2)不必要な文脈で個人情報を参照するモデル,(2)好みの絞り込み,(2)情報エコーチャンバーを補強するモデル,(3)サイコファン性バイアス,(3)モデルがユーザの意見に過度に同意するモデル,の3つを同定する。結果として、モデルは不必要な状況、不注意に応答の多様性を崩壊させたり、ユーザーの意見に過度に同意する状況において個人情報を参照することができる。 AIアシスタントにおけるパーソナライズの利用の増加にもかかわらず、その潜在的な副作用の体系的な評価は限られている。このギャップを埋めるために、PRISKを提案する。PRISKは、自動データ生成と、現在のLLMパーソナライゼーションにおける体系的な制限と、パーソナライズされた情報が応答をどのように形作るかを明らかにする、調整されたメトリクスを備えた動的評価フレームワークである。 13個のLCMにまたがる経験的分析では、ユーザープロファイルの存在が常にバイアスを悪化させ、その結果、無関係なパーソナライゼーションが45.9%減少し、好みの狭さが41.7%、サイコファン性バイアスが61.7%となった。

関連論文リスト

Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文参考訳（メタデータ） (2026-05-29T17:00:55Z)
When to Ask a Question: Understanding Communication Strategies in Generative AI Tools [7.445350484328613]
生成型AIシステムは,コンテンツ生成前において最適な情報量を特徴付けることにより,推論と推論のバランスをとる必要があることを示す。情報導入により、嗜好推論の体系的バイアスが軽減され、多様なユーザ視点を取り入れた生成ツールの設計が可能となることを示す。
論文参考訳（メタデータ） (2026-05-11T20:58:09Z)
Sparse Personalized Text Generation with Multi-Trajectory Reasoning [95.19317487799292]
PAT(Personalization with Aligned Trajectories)は、コールドスタートLDMパーソナライズのための推論フレームワークである。まず、スタイリスティックに類似したユーザからの書き込みスタイルの手がかりと、嗜好に沿ったユーザからのトピック固有のコンテキストの2つの相補的なトラジェクトリに沿って情報を取得する。次に、強化学習に基づく反復的な二重共振機構を用い、LLMはこれらの信号を共同で洗練し統合することができる。
論文参考訳（メタデータ） (2026-04-27T20:58:49Z)
Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
論文参考訳（メタデータ） (2026-02-12T20:41:22Z)
When Personalization Misleads: Understanding and Mitigating Hallucinations in Personalized LLMs [13.695058536403108]
パーソナライズされた大規模言語モデル(LLM)が現実的なクエリに直面すると、そのモデルは客観的な真理ではなく、ユーザの過去の履歴に沿った回答を生成する。個人化による事実歪みを緩和する軽量な推論時間アプローチであるFPPSを提案する。
論文参考訳（メタデータ） (2026-01-16T05:20:10Z)
Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
論文参考訳（メタデータ） (2025-09-30T18:55:28Z)
PREFINE: Personalized Story Generation via Simulated User Critics and User-Specific Rubric Generation [2.8324853634693614]
PreFINEは、Crytique-and-Refineパラダイムをパーソナライズに拡張する新しいフレームワークである。 PreFINEは、ユーザのインタラクション履歴から擬似ユーザエージェントを構築し、ユーザ固有のルーリックを生成する。本手法は,対話システムや教育,レコメンデーションなどの幅広い応用において,効率的なパーソナライズを可能にする可能性を持っている。
論文参考訳（メタデータ） (2025-09-16T16:39:40Z)
Detecting Prefix Bias in LLM-based Reward Models [4.596249232904721]
選好データセットに基づいて訓練された報酬モデルにおいて,プレフィックスバイアスを検知し,評価するための新しい手法を提案する。これらの指標を活用して、人種と性別の異なる嗜好モデルにおける大きなバイアスを明らかにします。本研究は,公正かつ信頼性の高い報酬モデルを開発する上で,バイアス対応データセットの設計と評価を重要視するものである。
論文参考訳（メタデータ） (2025-05-13T21:50:03Z)
ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
論文参考訳（メタデータ） (2024-10-21T14:02:40Z)
Personalized Language Modeling from Personalized Human Feedback [45.16986573937782]
パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。個人の好みを捉えるために軽量なユーザモデルを利用する効率的なフレームワークであるPersonalized-RLHFを提案する。 P-RLHF を用いて学習したパーソナライズされた LLM は,個々のユーザの好みとより密に一致した応答を生成する。
論文参考訳（メタデータ） (2024-02-06T04:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。