論文の概要: Steerable Chatbots: Personalizing LLMs with Preference-Based Activation Steering
- arxiv url: http://arxiv.org/abs/2505.04260v1
- Date: Wed, 07 May 2025 09:10:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-08 19:07:36.021592
- Title: Steerable Chatbots: Personalizing LLMs with Preference-Based Activation Steering
- Title（参考訳）: ステアブルチャットボット:優先型アクティベーションステアリングによるLCMのパーソナライズ
- Authors: Jessica Y. Bo, Tianyu Xu, Ishan Chatterjee, Katrina Passarella-Ward, Achin Kulshrestha, D Shin,
- Abstract要約: 我々はアクティベーションステアリングを活用して、大きな言語モデルを推論中にユーザの好みに合わせるように誘導する。
より長いユーザ履歴を必要とするメモリベースのパーソナライズ手法とは対照的に、ステアリングは非常に軽量であり、ユーザによって容易に制御できる。
その結果, ユーザの好みを隠蔽した実世界の会話を協調させるため, 嗜好に基づくステアリングの有効性が示された。
- 参考スコア（独自算出の注目度）: 4.3537491807568465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) improve in their capacity to serve as personal AI assistants, their ability to output uniquely tailored, personalized responses that align with the soft preferences of their users is essential for enhancing user satisfaction and retention. However, untrained lay users have poor prompt specification abilities and often struggle with conveying their latent preferences to AI assistants. To address this, we leverage activation steering to guide LLMs to align with interpretable preference dimensions during inference. In contrast to memory-based personalization methods that require longer user history, steering is extremely lightweight and can be easily controlled by the user via an linear strength factor. We embed steering into three different interactive chatbot interfaces and conduct a within-subjects user study (n=14) to investigate how end users prefer to personalize their conversations. The results demonstrate the effectiveness of preference-based steering for aligning real-world conversations with hidden user preferences, and highlight further insights on how diverse values around control, usability, and transparency lead users to prefer different interfaces.
- Abstract（参考訳）: 大規模言語モデル(LLM)がパーソナルAIアシスタントとして機能する能力が向上するにつれて、ユーザのソフトな好みに合わせて独自にカスタマイズされたパーソナライズされた応答を出力する能力は、ユーザの満足度と保持性を高める上で不可欠である。
しかし、訓練されていない非訓練済みのユーザーは、仕様の素早い能力が乏しく、AIアシスタントに潜んでいる好みを伝えるのに苦労することが多い。
これを解決するために、アクティベーションステアリングを活用してLLMを誘導し、推論中の解釈可能な選好次元と整合させる。
より長いユーザ履歴を必要とするメモリベースのパーソナライズ手法とは対照的に、ステアリングは非常に軽量であり、線形強度係数によってユーザによって容易に制御できる。
3つの異なる対話型チャットボットインターフェースにステアリングを組み込み、ユーザー調査(n=14)を行い、エンドユーザーが会話をパーソナライズする方法を調査する。
その結果,現実の会話を隠蔽されたユーザの好みと整合させるための嗜好ベースのステアリングの有効性が示され,コントロールやユーザビリティ,透明性といったさまざまな価値観が,ユーザに対して異なるインターフェースを優先させるか,というさらなる洞察が浮き彫りにされた。
関連論文リスト
- Enhancing User-Oriented Proactivity in Open-Domain Dialogues with Critic Guidance [35.15965694815852]
オープンドメイン対話システムは自然な会話を生み出すことを目的としている。
既存の大きな言語モデル(LLM)は、ユーザのチャットの好みを積極的に理解できない。
ユーザ指向のプロアクティブ性を高めるために,ユーザ指向プロアクティブ(UPC)を提案する。
論文 参考訳（メタデータ） (2025-05-18T09:59:22Z) - Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [51.9706400130481]
大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。
PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。
LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
論文 参考訳（メタデータ） (2025-04-19T08:16:10Z) - Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward [11.495697919066341]
ポリシーエージェントは、ユーザの好み、性格、属性に合った振る舞いをパーソナライズできなければならない。
Reinforcement Learning from Human Feedback (RLHF)のような現在のトレーニング手法は、有用性と安全性を優先しているが、真に共感的で適応的でパーソナライズされた相互作用を育むには不足している。
マルチターンRLHFとともに,会話エージェントのユーザモデルを改善するための本質的なモチベーションを付加することを提案する。
論文 参考訳（メタデータ） (2025-04-04T06:35:02Z) - Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。
DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。
実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
論文 参考訳（メタデータ） (2025-03-04T09:53:26Z) - UQABench: Evaluating User Embedding for Prompting LLMs in Personalized Question Answering [39.79275025010785]
nameは、パーソナライズのための大きな言語モデルを促進するために、ユーザ埋め込みの有効性を評価するために設計されたベンチマークである。
ユーザ埋め込みをモデル化するための様々な最先端手法について広範な実験を行った。
論文 参考訳（メタデータ） (2025-02-26T14:34:00Z) - Unveiling User Preferences: A Knowledge Graph and LLM-Driven Approach for Conversational Recommendation [55.5687800992432]
本稿では,Large Language Models (LLMs) とKGs (KGs) を相乗化するプラグイン・アンド・プレイフレームワークを提案する。
これにより、LLMはKGエンティティを簡潔な自然言語記述に変換することができ、ドメイン固有の知識を理解できるようになる。
論文 参考訳（メタデータ） (2024-11-16T11:47:21Z) - Optimizing Data Delivery: Insights from User Preferences on Visuals, Tables, and Text [59.68239795065175]
ユーザが質問を提示するユーザスタディを実施し、何を見たいのかを尋ねます。
ユーザの個人的特性が、彼らが好むデータ出力に影響を与えることを確認するために、このデータを使用します。
論文 参考訳（メタデータ） (2024-11-12T00:24:31Z) - Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
調整可能な大きな言語モデル(LLM)をトレーニングします。
木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。
評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
論文 参考訳（メタデータ） (2024-10-04T17:48:29Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳（メタデータ） (2024-02-12T22:47:57Z) - Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [36.88126051792774]
大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。
1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。
OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
論文 参考訳（メタデータ） (2024-02-06T21:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。