論文の概要: UPSHIFT: User Preference Steering from Human-AI Interaction Feedback Traces

• arxiv url: http://arxiv.org/abs/2611.02667v1
• Date: Mon, 02 Nov 2026 07:24:50 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:08:00.408163
• Title: UPSHIFT: User Preference Steering from Human-AI Interaction Feedback Traces
• Title（参考訳）: UPSHIFT:人間とAIのインタラクションフィードバックトレースによるユーザ嗜好のステアリング
• Abstract要約: フィードバックトラジェクトリが、明示的な好みプロファイルやラベルなしで、再利用可能なパーソナライズ信号に変換できるかどうかを検討する。 UPSHIFTは,初期およびフィードバック条件付き応答の隠れ表現を各セッションで比較する訓練不要な手法である。 PrefEval における UPSHIFT の嗜好表現能力を検証する。
• 参考スコア（独自算出の注目度）: 10.324717332653238
• License:
• Abstract: Personalizing large language model assistants requires adapting their responses to individual users, including the selection of content, reasoning approach, level of detail, and form of presentation. Such preferences are often latent, becoming visible only when users respond to an initial answer and request revisions. We investigate whether these feedback trajectories can be converted into a reusable personalization signal without explicit preference profiles or labels, prompt-time access to interaction histories, or model parameter updates. We introduce UPSHIFT (User Preference Steering from Human-AI Interaction Feedback Traces), a training-free method that compares the hidden representations of initial and feedback-conditioned responses within each session, averages the resulting trajectory displacements across a user's sessions, and injects the aggregated preference direction when answering a new query. The method is motivated by the implicit-preference hypothesis: although an individual conversational transition may reflect topic progression or task-specific correction, changes that recur across sessions retain a component that captures how the user wants responses to be adjusted. We validate the preference-representation capability of UPSHIFT on PrefEval. In evaluations with 40 simulated users, every tested configuration improves preference alignment over the unsteered baseline on held-out topics for both Qwen3-8B and Qwen3-32B; the best configuration increases macro-averaged Elo from 1364.0 to 1605.2 and from 1341.9 to 1591.8, respectively. Matched-user and positive-versus-negative controls further demonstrate that these gains arise from the user-specific preference direction and its learned orientation. These results show that interaction histories can provide compact, reusable supervision for lightweight personalization.
• Abstract（参考訳）: 大規模言語モデルアシスタントをパーソナライズするには、コンテンツの選択、推論アプローチ、詳細レベル、プレゼンテーションフォームなど、個々のユーザへのレスポンスを適用する必要がある。 このような好みは、ユーザーが最初の回答に反応し、リビジョンを要求するときにのみ見えるようになるため、しばしば遅れる。 これらのフィードバックトラジェクトリが、明示的な嗜好プロファイルやラベル、相互作用履歴への即時アクセス、モデルパラメータ更新なしで、再利用可能なパーソナライズ信号に変換できるかどうかを検討する。 UPSHIFT (User Preference Steering from Human-AI Interaction Feedback Traces) は,初期およびフィードバック条件付き応答の隠れ表現を各セッションで比較し,ユーザセッション間の軌道変位を平均化し,新しいクエリに応答する際の集約された嗜好方向を注入する学習自由な手法である。 個々の会話の遷移はトピックの進行やタスク固有の修正を反映する可能性があるが、セッション間で再帰する変更は、ユーザが応答を調整したいと望むコンポーネントを保持する。 PrefEval における UPSHIFT の嗜好表現能力を検証する。 40人のシミュレーションユーザによる評価では、テストされた各構成はQwen3-8BとQwen3-32Bの保持されたトピックのベースラインに対する好みの調整を改善し、最高の構成はマクロ平均エロを1364.0から1605.2に、それぞれ1341.9から1591.8に増加させる。 さらに、ユーザ固有の嗜好方向と学習方向からこれらの利得が生じることを示す。 これらの結果は、インタラクション履歴が軽量なパーソナライズのためのコンパクトで再利用可能な監視を提供することを示す。

関連論文リスト

• PerSPL: Personalized Semi-supervised Preference Learning [10.764131400770024]
  textbfPerSPL (Personal Semi-supervised Preference Learning) は,ペア平均スコアを用いてユーザ固有のトレーニング信号への応答を安定化するバックボーンに依存しないフレームワークである。 PerSPLは、目に見えるユーザと目に見えないユーザの両方にとって、最も高い平均精度を達成している。 これらの結果から,ユーザごとの嗜好ラベルが不足している場合,ラベルなし応答はパーソナライズされた報酬モデリングのための追加の監視を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-10-21T05:21:36Z)
• Textual User Taste: Natural-Language User Context for Foundation-Model Recommender System at Scale [2.233203693632564]
  本稿では,聴取行動,インタラクション信号,コンテンツメタデータ,任意のユーザフィードバックから構造化された自然言語の味覚プロファイルを生成するシステムであるTextual User Tasteを紹介する。 産業規模でこれらの表現を生成し、評価し、最適化し、維持するために必要なエンド・ツー・エンドの生産ライフサイクルについて述べる。 評価の結果,味覚プロファイルは肯定的な自然言語のステアリングをサポートし,重要な制限を露呈することがわかった。
  論文  参考訳（メタデータ） (2026-09-28T14:34:14Z)
• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions [50.70965714314064]
  大規模言語モデル(LLM)は、ユーザが拡張されたインタラクションよりも複雑で多様な好みを共有するパーソナルアシスタントとして、ますます機能している。 この研究は、パーソナライズされたユーザ-LLMインタラクションにおいて、リアルな嗜好フォローを評価するためのベンチマークであるRealPrefを提案する。
  論文  参考訳（メタデータ） (2026-03-04T15:42:43Z)
• Search-Based Interaction For Conversation Recommendation via Generative Reward Model Based Simulated User [117.82681846559909]
  会話レコメンデーションシステム(CRS)は、マルチターンインタラクションを使用してユーザの好みを捉え、パーソナライズされたレコメンデーションを提供する。 本稿では,CRSと自動インタラクションを行うための生成報酬モデルに基づくシミュレーションユーザGRSUを提案する。
  論文  参考訳（メタデータ） (2025-04-29T06:37:30Z)
• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [53.059480071818136]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)
• Adaptive Querying for Reward Learning from Human Feedback [5.587293092389789]
  人間のフィードバックから学ぶことは、ロボットを訓練してユーザの好みに適応し、安全性を向上させるための一般的なアプローチである。 副作用などの不安全行動に関連するペナルティ関数を,複数種類のフィードバックを用いて学習する方法を検討する。 まず,クエリのクリティカルな状態を選択し,次に情報ゲインを用いてクエリのフィードバック形式を選択する。
  論文  参考訳（メタデータ） (2024-12-11T00:02:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。