論文の概要: LUNAR: Benchmarking Personalized Large Language Models on UNiversal User BehAvioR Logs

• arxiv url: http://arxiv.org/abs/2608.05246v1
• Date: Wed, 05 Aug 2026 15:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.764625
• Title: LUNAR: Benchmarking Personalized Large Language Models on UNiversal User BehAvioR Logs
• Title（参考訳）: LUNAR:Universal User BehAvioR Logs上でパーソナライズされた大規模言語モデルのベンチマーク
• Abstract要約: 既存のパーソナライズされたLCMベンチマークは、主にテキストペルソナや孤立した行動信号に依存している。 LUNARは、LLMが日常ドメイン全体にわたる縦型アプリインタラクション履歴からの応答をどのようにパーソナライズするかを評価するための最初のベンチマークである。
• 参考スコア（独自算出の注目度）: 10.508049806088335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing personalized LLM benchmarks primarily rely on textual personas or isolated behavioral signals, providing limited evaluation of cross-domain behavioral personalization, where responses must be grounded in heterogeneous daily-life activities. To address this gap, we introduce LUNAR, the first benchmark for evaluating how LLMs personalize responses from longitudinal app interaction histories across universal daily-life domains, including clothing, food, housing, and mobility. To support scalable benchmark construction while mitigating data sparsity and privacy concerns, LUNAR uses a multi-stage coarse-to-fine synthesis pipeline grounded in real-world behavioral patterns. Fidelity analyses show closer alignment with real behavioral distributions than other synthetic benchmarks. Experiments on 19 mainstream LLMs show that access to behavioral logs is necessary but not sufficient for deep personalization: neither more context nor larger models guarantees better performance; effective personalization depends on selecting and integrating relevant evidence across domains. Direct retrieval of fine-grained behavioral records consistently outperforms compressed memory, while stronger personalization can come at the cost of privacy protection. These findings identify evidence selection, cross-domain integration, and privacy control as key challenges for personalized LLMs.
• Abstract（参考訳）: 既存のパーソナライズされたLCMベンチマークは、主にテキストのペルソナや孤立した行動信号に依存しており、異種日々の活動において応答を基盤とするクロスドメインな行動パーソナライゼーションの限られた評価を提供する。 このギャップに対処するため、LUNARは、LLMが衣料、食品、住宅、移動といった日常生活の普遍的な領域において、縦断的なアプリインタラクション履歴からの応答をどのようにパーソナライズするかを評価するための最初のベンチマークである。 データの分散性とプライバシの懸念を軽減しつつ、スケーラブルなベンチマーク構築をサポートするため、LUNARでは、実世界の行動パターンを基盤とした、多段階の粗大な合成パイプラインを使用している。 忠実度解析は、他の合成ベンチマークよりも実際の行動分布と密接な関係を示す。 19のメインストリームLCMの実験では、振る舞いログへのアクセスは必要だが、深いパーソナライズには不十分であることが示されている。 微粒な行動記録の直接検索は圧縮メモリよりも優れており、より強力なパーソナライゼーションはプライバシー保護の犠牲になる可能性がある。 これらの知見は、パーソナライズされたLDMにとって重要な課題として、エビデンスの選択、ドメイン間統合、プライバシ制御を同定する。

関連論文リスト

• Hypotheses-Guided Self Distillation for Continual Personalization [16.17908994206264]
  我々はHypReflectを紹介した。HypReflectは継続的パーソナライゼーションのための信頼性が高くスケーラブルなフレームワークだ。 HypReflectは、多様なユーザ信号から明示的で不確実性を認識した選好仮説を推論する。 結果は、信頼性とスケーラブルな継続的パーソナライゼーションへの一歩を示唆している。
  論文  参考訳（メタデータ） (2026-08-31T18:52:21Z)
• Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement [4.027292457517535]
  暗黙のインタラクションストリームから動的ユーザペルソナを直接学習するフレームワークであるIRISを提案する。 IRISは安定したペルソナを生成し、メモリのみのアプローチの限界を明らかにしながら個々のユーザーを区別する。 我々は、匿名化されたReddit r/AmItheAsshole (AITA)データに基づいてIRISを検証する。
  論文  参考訳（メタデータ） (2026-07-29T04:56:14Z)
• Hierarchical Multi-Persona Induction from User Behavioral Logs: Learning Evidence-Grounded and Truthful Personas [7.672918013974333]
  ユーザアクションを記憶に集約し,複数のエビデンスに基づくペルソナを誘導する階層的枠組みを提案する。 大規模サービスログと2つの公開データセットの実験は、我々の手法がより一貫性があり、エビデンスがあり、信頼できるペルソナを誘導することを示している。
  論文  参考訳（メタデータ） (2026-04-28T21:13:16Z)
• Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces [81.41397370235102]
  我々はOmniBehaviorを紹介した。OmniBehaviorは実世界のデータから構築された最初のユーザシミュレーションベンチマークである。 現在のモデルでは,コンテキストウィンドウが拡大しても,複雑な振る舞いを正確にシミュレートすることが困難であることを示す。 この結果、個人差や長い尾の挙動が失われ、将来の高忠実度シミュレーション研究における重要な方向性が浮き彫りになる。
  論文  参考訳（メタデータ） (2026-04-09T15:26:21Z)
• AlpsBench: An LLM Personalization Benchmark for Real-Dialogue Memorization and Preference Alignment [54.72137309071243]
  AlpsBenchはWildChatからキュレートされた2500の長期的相互作用配列から構成され、人間によって検証された構造化記憶と組み合わせられる。 我々は、パーソナライズされた情報抽出、更新、検索、利用の4つの重要なタスクを定義し、メモリ管理のライフサイクル全体を評価するためのプロトコルを確立する。 i)モデルが潜在ユーザ特性を確実に抽出するのに苦労していること、(ii)メモリ更新が最強モデルでもパフォーマンス天井に直面すること、(iii)大きなイントラクタプールの存在下での検索精度が急激に低下すること、(iv)明示的なメモリ機構がリコールを改善する一方で、リコールは行わないこと、などである。
  論文  参考訳（メタデータ） (2026-03-09T11:06:19Z)
• Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions [50.70965714314064]
  大規模言語モデル(LLM)は、ユーザが拡張されたインタラクションよりも複雑で多様な好みを共有するパーソナルアシスタントとして、ますます機能している。 この研究は、パーソナライズされたユーザ-LLMインタラクションにおいて、リアルな嗜好フォローを評価するためのベンチマークであるRealPrefを提案する。
  論文  参考訳（メタデータ） (2026-03-04T15:42:43Z)
• Long Context, Less Focus: A Scaling Gap in LLMs Revealed through Privacy and Personalization [4.802305157491253]
  大きな言語モデル(LLM)は、プライバシクリティカルでパーソナライズ指向のシナリオにますますデプロイされている。 大規模ベンチマークPAPerBenchを導入し、コンテキスト長の増加がパーソナライズ品質とプライバシ保護の両方にどのように影響するかを体系的に研究する。 ベンチマークは、コンテキスト長が1Kから256Kまでの約29,000のインスタンスで構成され、合計で377K評価の質問が得られる。
  論文  参考訳（メタデータ） (2026-02-16T18:59:42Z)
• Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
  本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。 パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。 我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
  論文  参考訳（メタデータ） (2026-02-12T20:41:22Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Model-based Large Language Model Customization as Service [45.92528738079333]
  OpenAIやGoogleといったプロバイダによる大規模言語モデル(LLM)サービスは、一般的なタスクでは優れているが、ドメイン固有のアプリケーションではパフォーマンスが劣ることが多い。 Llamdexは、LLMのカスタマイズをサービスとして促進する新しいフレームワークで、クライアントはデータではなく、トレーニング済みのドメイン固有モデルをアップロードする。 実験によると、Llamdexは、同じプライバシー制約の下で、最先端のプライベートデータ合成メソッドに対して、ドメイン固有の精度を最大26%向上する。
  論文  参考訳（メタデータ） (2024-10-14T13:18:20Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。