論文の概要: Benchmarking the Personalization Capabilities of Large Language Models
- arxiv url: http://arxiv.org/abs/2607.20471v1
- Date: Sat, 23 May 2026 18:16:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.186635
- Title: Benchmarking the Personalization Capabilities of Large Language Models
- Title（参考訳）: 大規模言語モデルのパーソナライズ能力のベンチマーク
- Abstract要約: パーソナライゼーション(Personalization)とは、送信者、チャンネル、タイムを固定しながら、特定の受信者からアクションを誘導するメッセージを変更する行為である。
我々は、カメニカとゲンツコーのベイズ的説得フレームワーク(2011年)を生成エージェントに適用し、販売における定式化をインスタンス化する。
我々は、一貫したパーソナライゼーションの台地を観察し、Fortune 100のテクノロジーコホートでは、統計的に成功しないアウトリーチと成功を区別しない。
- 参考スコア（独自算出の注目度）: 18.115699104947467
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Personalization, the act of varying a message to induce action from a specific receiver while keeping sender, channel, and time fixed, has a long tradition in psychology and marketing as a two-party problem in which sender and receiver have independent objectives. Large language models remove the bounded-inventory constraint of classical retrieval-and-ranking approaches by generating a continuum of message variants conditioned on inferred receiver state, raising the question of how well current models perform personalization in the classical sense. Existing LLM personalization benchmarks measure sender-side adaptation, in which the receiver is the same user the model is serving. The two-party question, whether a generated message induces its intended action in a third party, has been investigated only through A/B tests and small-scale human studies that cannot be re-run against a new model on demand. We adapt the Bayesian Persuasion framework of Kamenica and Gentzkow (2011) to generative agents and instantiate the formulation in sales, where receiver actions are routinely logged against the outreach that induced them. We release SDR-Bench, a public corpus of 6,279 customer success stories spanning 22 industries and approximately 200 enterprises, served through a temporally constrained simulation that prevents future-data leakage. Across frontier LLMs and deep-research agents, we observe a consistent personalization plateau and on a Fortune 100 tech cohort no model statistically separates successful from unsuccessful outreach. A field deployment with 12 professional sales representatives validates the framework, with 48 percent of model-generated content rated immediately useful and senior-expert agreement at Pearson 0.82. We release SDR-Arena and SDR-Bench publicly to support reproducible study of generative personalization at scale.
- Abstract（参考訳）: パーソナライゼーション(パーソナライゼーション、パーソナライゼーション、パーソナライゼーション、英: Personalization)とは、特定の受信者からアクションを誘導し、送信者、チャンネル、タイムを固定する行為である。
大規模言語モデルは、推定受信状態に条件付けられたメッセージ変種連続体を生成し、現在のモデルが古典的な意味でパーソナライズをどの程度行うかという疑問を提起することにより、古典的な検索と格付けのアプローチの有界・創発的制約を取り除く。
既存のLLMパーソナライズベンチマークは、受信機がモデルが提供しているのと同じユーザーである送信側適応を測定する。
生成したメッセージが第三者の意図した動作を誘発するかどうかという2つの質問は、A/Bテストと、需要に応じて新しいモデルに対して再実行できない小規模人間の研究によってのみ調査されている。
我々は、カメニカとゲンツコーのベイズ的説得フレームワーク(2011年)を生成エージェントに適用し、販売における定式化をインスタンス化する。
SDR-Benchは、22の産業と約200の企業にまたがる6,279の顧客成功ストーリーのパブリックコーパスで、時間的に制約されたシミュレーションによって、将来のデータ漏洩を防ぐ。
我々は、フロンティアのLSMとディープリサーチのエージェントを通して、一貫したパーソナライゼーションの台地を観察し、Fortune 100の技術コホートでは、統計的に成功しないアウトリーチから成功を区別しない。
12人のプロのセールス担当者によるフィールド展開がこのフレームワークを検証する。Pearson 0.82では、モデル生成コンテンツの48%がすぐに有用で、上級専門家による合意である。
我々はSDR-ArenaとSDR-Benchを公開し、大規模に生成的パーソナライゼーションを再現可能な研究を支援する。
関連論文リスト
- Delegation Asymmetry in Agentic Recommender Systems: Measuring Two-Sided Receptivity in Online Dating [0.0]
本研究では,会話をエージェントに委譲するだけでなく,他者からのエージェントによるコミュニケーションも受けられるという条件について検討する。
我々は,潜時回帰モデルに基づくエージェント受容率の潜時閾値測定モデルを開発した。
本稿では,情報開示,オプトイン力学,受容性を考慮したマッチメイキングなど,エージェントレコメンデータ設計の意義について論じる。
論文 参考訳（メタデータ） (2026-08-18T17:51:16Z) - The AI Epistemic Deference Index: A Continuous Measure of Sycophancy [42.31792244964347]
我々はAIてんかん評価指標(AEDI)を提案する。
AEDIは、モデルの出力で表されるサポートが、ユーザのプロンプトで表される態度にどれほど敏感であるかを表す、連続した一次元スコアである。
さまざまなトピックにまたがる500の命題と16,000のプロンプトからなる新しいキュレートされたデータベースにデプロイし、8つの著名なモデルをテストします。
論文 参考訳（メタデータ） (2026-06-05T23:16:28Z) - BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。
textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。
2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
論文 参考訳（メタデータ） (2026-06-01T19:04:36Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization [12.964518425036168]
パーソナライズド・リワードベンチ(Personalized RewardBench)は、パーソナライズされた好みをモデル化するための報酬モデルの能力を厳格に評価する新しいベンチマークである。
選択された応答対と拒否された応答対は、ユーザ固有のルーリックへの厳密な固執(または違反)に基づいて構成し、好みの区別が個人ごとに一意に調整されていることを保証します。
本ベンチマークでは,既存のベースラインと比較して,Best-of-N(BoN)サンプリングとPPO(Porximal Policy Optimization)の両方において,ダウンストリーム性能と有意に高い相関関係を示した。
論文 参考訳（メタデータ） (2026-04-08T17:55:00Z) - Dual Optimal: Make Your LLM Peer-like with Dignity [35.58723842086038]
現在のアライメント言語モデルは、Evasive Servantと呼ばれる二重障害モードを示す。
我々は,抗梅毒と信頼性の両面からサーボネスに対処するDignified Peerフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T14:48:44Z) - SpecSteer: Synergizing Local Context and Global Reasoning for Efficient Personalized Generation [79.75755802397312]
SpecSteerは非対称な協調推論フレームワークで、デバイス上のプライベートコンテキストとクラウドスケールの推論を相乗化する。
実験により、SpecSteerは推論のギャップを埋め、パーソナライズされた生成性能を向上することを示した。
論文 参考訳（メタデータ） (2026-03-17T07:51:29Z) - HumanStudy-Bench: Towards AI Agent Design for Participant Simulation [11.906370453952265]
大規模言語モデル (LLMs) は、社会科学実験のシミュレーション参加者としてますます使われている。
HUMANSTUDY-BENCHは、LLMベースのエージェントを編成し、人体実験を再構築するベンチマークおよび実行エンジンである。
科学的推論のレベルでの忠実度を評価するために,人間とエージェントの行動がどの程度一致しているかを定量化するための新しい指標を提案する。
論文 参考訳（メタデータ） (2026-01-31T12:07:42Z) - Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。
本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-27T10:37:11Z) - Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering [57.12316804290369]
ユーザ固有の情報ニーズに質問応答システムを適用するためには,パーソナライゼーションが不可欠である。
本稿では,タスク固有の微調整を必要とせず,任意の大規模言語モデル (LLM) に適用可能な推論段階の方法として,思考の経路 (PoT) を提案する。
PoTは競争ベースラインを一貫して上回り、13.1%の相対的な改善を達成している。
論文 参考訳（メタデータ） (2025-09-23T14:44:46Z) - Temporal Self-Rewarding Language Models: Decoupling Chosen-Rejected via Past-Future [38.1810626252963]
自己回帰言語モデル(Self-Rewarding Language Models)は、LLM-as-a-Judgeプロンプトを通じて、大きな言語モデル(LLM)が応答を生成し、独自の出力を評価するアーキテクチャを提案する。
本研究では,過去,現在,将来のモデル世代を戦略的に調整し,学習信号を持続するテキストbf自己回帰言語モデルを提案する。
論文 参考訳（メタデータ） (2025-08-08T05:25:54Z) - Lorica: A Synergistic Fine-Tuning Framework for Advancing Personalized Adversarial Robustness [14.039639177573164]
モバイルデバイスは敵の攻撃に弱いままであり、モデルの堅牢性とセキュリティを脅かす。
textitLoricaは、カスタマイズされた防御モデルを提供する、パーソナライズされた相乗的対角訓練フレームワークである。
ベンチマークデータセットの実験では、 textitLorica が最大68$times$ の通信効率向上を実現可能であることが示されている。
論文 参考訳（メタデータ） (2025-06-04T03:31:32Z) - Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
RLHF(Reinforcement Learning from Human Feedback)は,大規模言語モデル(LLM)の整合化に成功している。
我々は、長さバイアス軽減と長さ指示に従うモデルの性能を高めるために、$textbfR$esponse-$textbfc$onditioned $textbfB$radley-$textbfT$erry (Rc-BT)モデルを導入する。
また、報酬モデルと直接ポリシー最適化のためにRc-BTモデルを利用するRc-RMおよびRc-DPOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-02T14:50:25Z) - InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。
本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。
InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
論文 参考訳（メタデータ） (2024-02-14T17:49:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。