論文の概要: PRISM-X: Experiments on Personalised Fine-Tuning with Human and Simulated Users
- arxiv url: http://arxiv.org/abs/2605.13307v1
- Date: Wed, 13 May 2026 10:21:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.97894
- Title: PRISM-X: Experiments on Personalised Fine-Tuning with Human and Simulated Users
- Title（参考訳）: PRISM-X:人間とシミュレーションユーザーによるパーソナライズされたファインチューニングの実験
- Abstract要約: パーソナライズ手法の有効性は、実際の人ではなくシミュレーションユーザーを用いて学術研究で評価されることが多い。
これにより、ユーザとそのシミュレートされた相手が、インタラクションパターンや判断においてどのように異なるかという疑問が提起される。
- 参考スコア（独自算出の注目度）: 14.768125931006798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personalisation is a standard feature of conversational AI systems used by millions; yet, the efficacy of personalisation methods is often evaluated in academic research using simulated users rather than real people. This raises questions about how users and their simulated counterparts differ in interaction patterns and judgements, as well as whether personalisation is best achieved through context-based prompting or weight-based fine-tuning. Here, in a large-scale within-subject experiment, we re-recruit 530 participants from 52 countries two years after they gave their preferences in the PRISM dataset (Kirk et al., 2024) to evaluate personalised and non-personalised language models in blinded multi-turn conversations. We find preference fine-tuning (P-DPO, Li et al., 2024) significantly outperforms both a generic model and personalised prompting but adapting to individual preference data yields marginal gains over training on pooled preferences from a diverse population. Beyond length biases, fine-tuning amplifies sycophancy and relationship-seeking behaviours that people reward in short-term evaluations but which may introduce deleterious long-term consequences. Replicating this within-subject experiment with simulated users recovers aggregate model hierarchies but simulators perform far below human self-consistency baselines for individual judgements, discuss different topics, exhibit amplified position biases, and produce feedback dynamics that diverge from humans.
- Abstract（参考訳）: パーソナライゼーションは、何百万人もの人が使用している会話型AIシステムの標準的な特徴である。
これにより、ユーザとそのシミュレーションされた相手が、インタラクションパターンや判断においてどのように異なるのか、また、コンテキストベースのプロンプトやウェイトベースの微調整によってパーソナライズが最善か、といった疑問が提起される。
そこで本研究では,PRISMデータセット(Kirk et al , 2024)を選好してから2年後の52カ国から530人の参加者を再調査し,視覚障害者の多ターン会話における個人的・個人的言語モデルと非個人的言語モデルの評価を行った。
選好微調整(P-DPO, Li et al , 2024)は一般的なモデルとパーソナライズされたプロンプトの両方を著しく上回り, 個人選好データに適応することで, 多様な個体群からの選好プールのトレーニングよりも限界利得が得られることがわかった。
長さバイアスを超えて、微調整は、人々が短期評価で報いるが、有害な長期的な結果をもたらす可能性のある、梅毒や関係性の探究行動を増幅する。
シミュレーションされたユーザによるこのオブジェクト内実験は、集約モデル階層を復元するが、シミュレータは、個々の判断に対する人間の自己整合性のベースラインよりもはるかに低く動作し、異なるトピックについて議論し、増幅された位置バイアスを示し、人間から分岐するフィードバックダイナミクスを生成する。
関連論文リスト
- Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation [45.19034537358224]
ロールプレイングエージェント (RPAs) は、大規模言語モデルにおいて最も重要な消費者アプリケーションの一つとなっている。
既存のベンチマークでは、RPAは、固定された対話履歴を継続し、ユーザから切り離された固定されたルーリックを使用して継続を評価する必要がある。
ユーザシミュレータ上に構築されたスケーラブルなRPAベンチマークであるPALATEを紹介する。
論文 参考訳（メタデータ） (2026-07-30T07:55:35Z) - Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement [4.027292457517535]
暗黙のインタラクションストリームから動的ユーザペルソナを直接学習するフレームワークであるIRISを提案する。
IRISは安定したペルソナを生成し、メモリのみのアプローチの限界を明らかにしながら個々のユーザーを区別する。
我々は、匿名化されたReddit r/AmItheAsshole (AITA)データに基づいてIRISを検証する。
論文 参考訳（メタデータ） (2026-07-29T04:56:14Z) - BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。
textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。
2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
論文 参考訳（メタデータ） (2026-06-01T19:04:36Z) - Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。
パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。
我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
論文 参考訳（メタデータ） (2026-02-12T20:41:22Z) - HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。
私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。
次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
論文 参考訳（メタデータ） (2026-01-22T09:27:27Z) - Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。
静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。
我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
論文 参考訳（メタデータ） (2025-09-30T18:55:28Z) - Deep Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions [13.929713456538932]
本稿では,マルチターンインタビュー文として生成した合成ユーザ"バックストリー"を用いた仮想ペルソナ構築手法を提案する。
本研究の背景には,ヒトの反応分布を忠実に再現した仮想的ペルソナと,グループ内・グループ外バイアスのオリジナルの研究で観察されたものと密に一致した効果の大きさが示されている。
論文 参考訳（メタデータ） (2025-04-16T00:10:34Z) - When Personalization Meets Reality: A Multi-Faceted Analysis of Personalized Preference Learning [39.22503425640312]
ヒューマンフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、一般的に、多様な人間の価値観や少数派視点を見越して、ユーザ間で均質な好みを仮定する。
本稿では,多面的評価フレームワークを提案する。このフレームワークは,性能だけでなく,不公平性,意図しない効果,適応性など,様々なレベルの嗜好のばらつきを計測する。
これらの知見は、より効果的で包括的な選好学習システムの開発を進めるための全体論的評価アプローチの批判的必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-02-26T14:14:58Z) - Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles [37.43150003866563]
我々は,人間と機械のインタラクションから暗黙のユーザプロファイルを推論し,パーソナライズされたリアルな対話をシミュレートする,インプリシットプロファイル付きユーザシミュレータ(USP)を紹介する。
USPは、同等の一貫性を維持しながら、信頼性と多様性の点で、強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2025-02-26T09:26:54Z) - Comparison-based Active Preference Learning for Multi-dimensional Personalization [7.349038301460469]
大きな言語モデル(LLM)は目覚ましい成功を収めていますが、それらを人間の好みに合わせることは、依然として重要な課題です。
近年,多次元のパーソナライゼーションが研究されている。これはモデルが明示的な嗜好に合った応答を生成できるようにすることを目的としている。
対話的に収集された比較フィードバックから暗黙的なユーザの嗜好を捉えるために,能動多次元選好学習(AMPLe)を提案する。
論文 参考訳（メタデータ） (2024-11-01T11:49:33Z) - ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。
ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
論文 参考訳（メタデータ） (2024-10-21T14:02:40Z) - Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
調整可能な大きな言語モデル(LLM)をトレーニングします。
木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。
評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
論文 参考訳（メタデータ） (2024-10-04T17:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。