論文の概要: Steerable Chatbots: Personalizing LLMs with Preference-Based Activation Steering

• arxiv url: http://arxiv.org/abs/2505.04260v1
• Date: Wed, 07 May 2025 09:10:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.021592
• Title: Steerable Chatbots: Personalizing LLMs with Preference-Based Activation Steering
• Title（参考訳）: ステアブルチャットボット:優先型アクティベーションステアリングによるLCMのパーソナライズ
• Authors: Jessica Y. Bo, Tianyu Xu, Ishan Chatterjee, Katrina Passarella-Ward, Achin Kulshrestha, D Shin,
• Abstract要約: 我々はアクティベーションステアリングを活用して、大きな言語モデルを推論中にユーザの好みに合わせるように誘導する。 より長いユーザ履歴を必要とするメモリベースのパーソナライズ手法とは対照的に、ステアリングは非常に軽量であり、ユーザによって容易に制御できる。 その結果, ユーザの好みを隠蔽した実世界の会話を協調させるため, 嗜好に基づくステアリングの有効性が示された。
• 参考スコア（独自算出の注目度）: 4.3537491807568465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) improve in their capacity to serve as personal AI assistants, their ability to output uniquely tailored, personalized responses that align with the soft preferences of their users is essential for enhancing user satisfaction and retention. However, untrained lay users have poor prompt specification abilities and often struggle with conveying their latent preferences to AI assistants. To address this, we leverage activation steering to guide LLMs to align with interpretable preference dimensions during inference. In contrast to memory-based personalization methods that require longer user history, steering is extremely lightweight and can be easily controlled by the user via an linear strength factor. We embed steering into three different interactive chatbot interfaces and conduct a within-subjects user study (n=14) to investigate how end users prefer to personalize their conversations. The results demonstrate the effectiveness of preference-based steering for aligning real-world conversations with hidden user preferences, and highlight further insights on how diverse values around control, usability, and transparency lead users to prefer different interfaces.
• Abstract（参考訳）: 大規模言語モデル(LLM)がパーソナルAIアシスタントとして機能する能力が向上するにつれて、ユーザのソフトな好みに合わせて独自にカスタマイズされたパーソナライズされた応答を出力する能力は、ユーザの満足度と保持性を高める上で不可欠である。 しかし、訓練されていない非訓練済みのユーザーは、仕様の素早い能力が乏しく、AIアシスタントに潜んでいる好みを伝えるのに苦労することが多い。 これを解決するために、アクティベーションステアリングを活用してLLMを誘導し、推論中の解釈可能な選好次元と整合させる。 より長いユーザ履歴を必要とするメモリベースのパーソナライズ手法とは対照的に、ステアリングは非常に軽量であり、線形強度係数によってユーザによって容易に制御できる。 3つの異なる対話型チャットボットインターフェースにステアリングを組み込み、ユーザー調査(n=14)を行い、エンドユーザーが会話をパーソナライズする方法を調査する。 その結果,現実の会話を隠蔽されたユーザの好みと整合させるための嗜好ベースのステアリングの有効性が示され,コントロールやユーザビリティ,透明性といったさまざまな価値観が,ユーザに対して異なるインターフェースを優先させるか,というさらなる洞察が浮き彫りにされた。

関連論文リスト

• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [51.9706400130481]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward [11.495697919066341]
  ポリシーエージェントは、ユーザの好み、性格、属性に合った振る舞いをパーソナライズできなければならない。 Reinforcement Learning from Human Feedback (RLHF)のような現在のトレーニング手法は、有用性と安全性を優先しているが、真に共感的で適応的でパーソナライズされた相互作用を育むには不足している。 マルチターンRLHFとともに,会話エージェントのユーザモデルを改善するための本質的なモチベーションを付加することを提案する。
  論文  参考訳（メタデータ） (2025-04-04T06:35:02Z)
• Optimizing Data Delivery: Insights from User Preferences on Visuals, Tables, and Text [59.68239795065175]
  ユーザが質問を提示するユーザスタディを実施し、何を見たいのかを尋ねます。 ユーザの個人的特性が、彼らが好むデータ出力に影響を与えることを確認するために、このデータを使用します。
  論文  参考訳（メタデータ） (2024-11-12T00:24:31Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [36.88126051792774]
  大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。 1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。 OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-06T21:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。