論文の概要: Online LLM Personalization from Pairwise Preferences Across Users

• arxiv url: http://arxiv.org/abs/2610.17203v1
• Date: Mon, 12 Oct 2026 17:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:48:08.044469
• Title: Online LLM Personalization from Pairwise Preferences Across Users
• Title（参考訳）: 利用者間でのペアワイズによるオンラインLLMパーソナライズ
• Abstract要約: 本研究では,オンライン選択による推論時パーソナライズについて,一定のプロンプトのセットから検討する。 我々は、この相互作用を文脈的デュエルバンディット問題の変種として定式化する。 目的は、両方の表示された応答の実用的ギャップを和らげて、累積的な強い後悔を最小限にすることである。
• 参考スコア（独自算出の注目度）: 4.9193859756091145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can answer the same question in different styles, but users' preferred styles are hidden and vary across users and questions. We study inference-time personalization through online selection from a fixed set of prompts, each representing a persona. Users arrive sequentially, each asks a short sequence of questions, and the system displays two responses per question and observes one pairwise choice. We formulate this interaction as a variant of the contextual dueling bandit problem in which the learner starts without preference data, adapts within each session, and exploits information shared across users. The objective is to minimize cumulative strong regret, summing the utility gaps of both displayed responses relative to the user's best response among the available options. We make two contributions. First, we introduce the problem and release a reproducible preference benchmark and dataset built around a tutoring case study, containing educational questions, LLM-generated answers in six teaching styles, and pairwise judgments from LLM-simulated students with hidden preference profiles. We fit Bradley-Terry models to these judgments to obtain reference utilities for regret evaluation. Second, we propose a baseline that learns a mixture prior over users from completed sessions and adapts to each new user within the session. On students and topics never used in development, it removes 44-48% of random pairs' excess regret and achieves over half the performance of a per-user linear oracle fitted in hindsight. We release code, prompts, and the benchmark.
• Abstract（参考訳）: 大規模言語モデルは異なるスタイルで同じ質問に答えることができるが、ユーザの好みのスタイルは隠され、ユーザや質問によって異なる。 本研究では,ペルソナを表わすプロンプトの固定セットから,オンライン選択による推論時間パーソナライズについて検討する。 ユーザが順番に到着すると、各ユーザが質問の短いシーケンスを尋ね、システムは質問毎に2つのレスポンスを表示し、1つのペア選択を観察する。 我々は、この相互作用を、学習者が好みデータなしで開始し、各セッションに適応し、ユーザ間で共有される情報を利用するコンテキストデュエルバンディット問題の変種として定式化する。 目的は、利用可能なオプションの中で、ユーザの最良応答に対する表示された応答の実用的ギャップを和らげ、累積的な強い後悔を最小限に抑えることである。 私たちは2つの貢献をします。 まず,教師のケーススタディをベースとした再現可能な選好ベンチマークとデータセットを公開し,教育的質問,LLMが生成する回答を6つの指導スタイルで記述し,LLMを模擬した学生の2対の判断を隠蔽した。 我々はこれらの判断にブラッドリー・テリーモデルを適用し、後悔評価のための参照ユーティリティを得る。 第2に,セッションの完了からユーザよりも先にミキシングを学習し,セッション内の新規ユーザ毎に適応するベースラインを提案する。 開発に使用されていない学生やトピックについて、無作為なペアの過度な後悔の44-48%を除去し、ユーザ毎の線形オラクルの性能の半分以上を後見で達成する。 コード、プロンプト、ベンチマークをリリースします。

関連論文リスト

• Offline Clustering of Preference Learning with Active-data Augmentation [32.93090135413931]
  現実世界の嗜好学習は、しばしば異なる嗜好を持つユーザーを巻き込む。 この設定では、データを効果的に集約するユーザ間の類似性を識別し、不均衡なオフラインデータを扱うという、2つの主要な課題が提示される。 学習者がオフラインデータにのみ依存する、純粋なオフライン設定のためのオフC$2$PLを提案する。 我々は,本フレームワークを,学習者がテストユーザに対して限られた数のアクティブデータを選択することができるアクティブデータ拡張設定に拡張する。
  論文  参考訳（メタデータ） (2025-10-30T09:39:05Z)
• Asking Clarifying Questions for Preference Elicitation With Large Language Models [19.809978521730855]
  大規模言語モデル(LLM)は、オープンエンドの対話インタフェースでユーザと対話するリコメンデーションシステムを実現する。 ユーザの好みを明らかにするシーケンシャルな質問に対して,LLMをトレーニングするための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-13T23:32:31Z)
• Users as Annotators: LLM Preference Learning from Comparison Mode [9.005226538625474]
  我々は、比較モードからユーザアノテーションをペアワイズに選好するデータを収集する代替手法を検討する。 ユーザの潜在品質係数を推定する予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-10-10T08:57:34Z)
• User Feedback in Human-LLM Dialogues: A Lens to Understand Users But Noisy as a Learning Signal [59.120335322495436]
  ユーザ-LLM会話ログのユーザフィードバックを分析し、そのようなフィードバックの発生時期と理由について考察する。 第2に、このような暗黙のユーザフィードバックから学習信号を抽出することについて研究する。
  論文  参考訳（メタデータ） (2025-07-30T23:33:29Z)
• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [53.059480071818136]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。