論文の概要: Using Context Is Not Enough: Test-Time Training for Personalized Reward Modeling

• arxiv url: http://arxiv.org/abs/2609.35109v1
• Date: Mon, 28 Sep 2026 13:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:54:58.852296
• Title: Using Context Is Not Enough: Test-Time Training for Personalized Reward Modeling
• Title（参考訳）: コンテキストの使用は不十分:パーソナライズされたリワードモデリングのためのテスト時間トレーニング
• Abstract要約: 提案するPreference-Aligned Test-Time Training (P-TTT) は,パーソナライズされた報酬予測のために,ユーザ固有の高速ウェイトへの嗜好関係を明示的に符号化する。 P-TTTは実装が簡単で、計算効率が良く、1つのフォワードパス内の高速ウェイトを推論時バックプロパゲーションなしで更新する。
• 参考スコア（独自算出の注目度）: 12.876860568490848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning from human feedback (RLHF) aligns large language models (LLMs) with human preferences, yet most pipelines learn a single reward model that overlooks individual differences in preferences. Personalized reward models (PRMs) address this by conditioning rewards on user-specific feedback, most commonly through in-context learning (ICL), where a user's historical comparisons are supplied as contextual preference pairs. However, we identify a key limitation of ICL-based PRMs: they fail to capture the preference relations conveyed by contextual pairs. To address this, we propose Preference-Aligned Test-Time Training (P-TTT), which explicitly encodes these relations into user-specific fast weights for personalized reward prediction. P-TTT introduces sequence-level update and apply operations to match the response-level granularity of preference feedback, together with a preference-aligned objective that directly uses pairwise preference relations to guide fast-weight adaptation. Notably, P-TTT is simple to implement and computationally efficient, updating fast weights within a single forward pass without inference-time backpropagation. Extensive experiments show that P-TTT more effectively captures historical preference relations and outperforms state-of-the-art methods by a large margin.
• Abstract（参考訳）: 人間のフィードバック(RLHF)からの強化学習は、大きな言語モデル(LLM)と人間の好みを一致させるが、ほとんどのパイプラインは、好みの個々の違いを見渡す単一の報酬モデルを学ぶ。 パーソナライズド報酬モデル(PRM)は、ユーザ固有のフィードバックに報酬を条件付けすることでこの問題に対処する。 しかし、ICLベースのPRMの鍵となる制限は、文脈的ペアによって伝達される嗜好関係を捕捉できないことである。 そこで本稿では,P-TTT(Preference-Aligned Test-Time Training)を提案する。 P-TTTは、優先順位フィードバックの応答レベル粒度に合うようにシーケンスレベルの更新と適用操作を導入し、高速な適応を誘導するためにペアの選好関係を直接利用する選好整合目的も導入する。 特に、P-TTTは実装が簡単で、計算的に効率的であり、推論時バックプロパゲーションなしで単一のフォワードパス内で高速ウェイトを更新する。 大規模な実験により、P-TTTは歴史的嗜好関係をより効果的に捉え、最先端の手法よりも大きなマージンで優れていることが示された。

関連論文リスト

• REAR: Test-time Preference Realignment through Reward Decomposition [68.09214603569744]
  本稿では,タスクを階層化問題としてモデル化する新しいフレームワークを提案する。 これら2つの報酬項の比率を選択的に再スケールするREAR(Realignment Reward)を導出する。 我々は,REARをトークンレベルのポリシログ確率の線形結合として定式化することができ,様々なTSアルゴリズムと容易に統合できることを示す。
  論文  参考訳（メタデータ） (2026-06-29T14:17:53Z)
• Direct Preference Optimization with Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-17T15:00:40Z)
• Debiasing Online Preference Learning via Preference Feature Preservation [64.55924745257951]
  最近の嗜好学習フレームワークは、二対比較とスカラー報酬で人間の嗜好を簡単にする。 これにより、大規模言語モデルの反応は、主に好まれる特徴に偏り、オンラインの嗜好学習ステップのイテレーション中に悪化する可能性がある。 本研究では,人間の嗜好特徴の分布を維持するための嗜好特徴保存法を提案し,オンライン選好学習プロセスを通じてそのようなリッチな信号を利用する。
  論文  参考訳（メタデータ） (2025-06-06T13:19:07Z)
• Test-Time Preference Optimization: On-the-Fly Alignment via Iterative Textual Feedback [40.01227095901647]
  大規模言語モデル(LLM)は、優れたパフォーマンスを示すが、リトレーニングなしに素早く人間の好みに適応する柔軟性に欠ける。 本稿では,LLM出力と推論時の人間の嗜好を一致させるフレームワークであるテスト時間優先最適化(TPO)を紹介する。 本研究は,TPOをテスト時間優先最適化の実用的で軽量な代替手段として確立し,ハエのアライメントを実現している。
  論文  参考訳（メタデータ） (2025-01-22T14:15:46Z)
• Direct Preference Optimization With Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T21:25:20Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。