論文の概要: Cautious Context Steering for Language Model Personalization

• arxiv url: http://arxiv.org/abs/2608.05813v1
• Date: Thu, 06 Aug 2026 09:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.869905
• Title: Cautious Context Steering for Language Model Personalization
• Title（参考訳）: 言語モデルパーソナライズのための注意的コンテキストステアリング
• Abstract要約: 既存の手法は、通常、個々のユーザに対して個別のアダプタをトレーニングするか、あるいはスコアがユーザに依存する報酬モデルを学ぶ。 フリーズバックボーンLMに軽量なアダプタを追加し,各トークンに対して,ユーザコンテキストが生成にどの程度強く影響するかを判断するCautious Context Steeringを提案する。 1つのデータセットでトレーニングされたCCSアダプタは、ドメイン内と4つのアウト・オブ・ディストリビューションパーソナライゼーションベンチマークの両方で生成品質を改善する。
• 参考スコア（独自算出の注目度）: 12.733264310259836
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Personalizing language models (LMs) to individual user preferences is essential for aligning responses with diverse goals and backgrounds. Existing methods typically train a separate adapter for each user or learn a reward model whose scores depend on the user. Despite explicitly optimizing for each user, these methods must learn from limited observations and therefore suffer from data sparsity and poor generalization to unseen users and domains. In-context learning (ICL) and Context Steering (CoS) can instead provide more effective personalization by conditioning the base LM directly on user context and leveraging its pretrained capabilities without per-user training. Yet neither adapts the influence of that context across decoding steps: ICL leaves it uncontrolled, whereas CoS applies a fixed steering coefficient and requires two LM forward passes per step. We propose Cautious Context Steering (CCS), which adds a lightweight adapter to a frozen backbone LM to decide at each token whether and how strongly user context should affect generation. The adapter learns this behavior from an oracle context-conditioned LM and preserves the base LM when the context is not helpful. A single CCS adapter trained on only one dataset improves generation quality both in-domain and across four out-of-distribution personalization benchmarks, demonstrating robust generalization to new users and domains. CCS also avoids per-user fine-tuning and the additional context-conditioned forward pass required by CoS, substantially reducing inference cost.
• Abstract（参考訳）: 言語モデル(LM)を個々のユーザの好みに合わせてパーソナライズすることは、さまざまな目標やバックグラウンドと応答を整合させる上で不可欠である。 既存の手法は、通常、個々のユーザに対して個別のアダプタをトレーニングするか、あるいはスコアがユーザに依存する報酬モデルを学ぶ。 各ユーザを明示的に最適化するにも拘わらず、これらの手法は限られた観測結果から学習する必要がある。 インコンテキストラーニング(ICL)とコンテキストステアリング(CoS)は、ユーザコンテキストに直接LMを直接条件付けし、ユーザ毎のトレーニングなしに事前訓練された能力を活用することで、より効果的なパーソナライズを提供する。 ICLは制御されていないが、CoSは固定ステアリング係数を適用し、ステップごとに2つのLMフォワードパスを必要とする。 本稿では,フリーズバックボーンLMに軽量なアダプタを追加したCautious Context Steering (CCS)を提案する。 アダプタは、オラクルのコンテキスト条件付きLMからこの振る舞いを学び、コンテキストが役に立たない場合にベースLMを保存する。 1つのデータセットでトレーニングされた単一のCSアダプタは、ドメイン内および4つの配布外パーソナライゼーションベンチマークの両方で生成品質を改善し、新しいユーザとドメインに対して堅牢な一般化を実証する。 CCSはまた、ユーザ毎の微調整や、CoSが要求する追加のコンテキスト条件のフォワードパスを回避し、推論コストを大幅に削減する。

関連論文リスト

• Learning Transferable Latent User Preferences for Human-Aligned Decision Making [4.1789291746171715]
  ヒューマンアラインな意思決定には、明示された目標と潜伏したユーザの好みの両方を考慮しなければならない。 本稿では,CLIPR(Conversational Learning for Inferring Preferences and Reasoning)を紹介する。 3つのデータセットの評価とユーザスタディによると、CLIPRはアライメントの改善と推論コストの削減において、既存の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-12T19:32:10Z)
• CLIPer: Tailoring Diverse User Preference via Classifier-Guided Inference-Time Personalization [28.672568353736335]
  軽量なパーソナライゼーションアプローチであるtextbfCLIPer (textbfClassifier-guided textbfInference-time textbfPersonalization) を導入する。 提案手法では, 微調整が不要となり, 計算オーバーヘッドが増大する。
  論文  参考訳（メタデータ） (2026-05-08T02:47:30Z)
• Sparse Personalized Text Generation with Multi-Trajectory Reasoning [95.19317487799292]
  PAT(Personalization with Aligned Trajectories)は、コールドスタートLDMパーソナライズのための推論フレームワークである。 まず、スタイリスティックに類似したユーザからの書き込みスタイルの手がかりと、嗜好に沿ったユーザからのトピック固有のコンテキストの2つの相補的なトラジェクトリに沿って情報を取得する。 次に、強化学習に基づく反復的な二重共振機構を用い、LLMはこれらの信号を共同で洗練し統合することができる。
  論文  参考訳（メタデータ） (2026-04-27T20:58:49Z)
• Instant Personalized Large Language Model Adaptation via Hypernetwork [56.512539596908745]
  Profile-to-PEFTは、ハイパーネットワークでトレーニングされたエンドツーエンドを使用して、ユーザのエンコードされたプロファイルを直接、アダプタパラメータの完全なセットにマッピングするスケーラブルなフレームワークである。 提案手法は,展開時に計算資源を著しく減らしながら,プロンプトベースのパーソナライゼーションとOPPUの両方に優れることを示す。
  論文  参考訳（メタデータ） (2025-10-18T00:41:25Z)
• CoSteer: Collaborative Decoding-Time Personalization via Local Delta Steering [80.54309860395763]
  CoSteerは、ローカライズされたデルタステアリングを通じてデコード時のパーソナライズを可能にする、新しいコラボレーティブフレームワークである。 トークンレベルの最適化をオンライン学習問題として定式化し、ローカルデルタベクトルがリモートLLMのロジットを動的に調整する。 このアプローチは、生のデータや中間ベクトルではなく、最後のステアリングトークンのみを送信することで、プライバシを保護します。
  論文  参考訳（メタデータ） (2025-07-07T08:32:29Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Personalized Adaptation via In-Context Preference Learning [20.042909385219716]
  Preference Pretrained Transformer (PPT) は、オンラインユーザフィードバックを用いた適応型パーソナライズのための新しいアプローチである。 この結果から,大規模言語モデルにおけるスケーラブルで効率的なパーソナライズのためのコンテキスト内学習の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-17T20:06:02Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。