論文の概要: Rethinking Personalized Generation: Test-Time Alignment via Factorized Ranking Models
- arxiv url: http://arxiv.org/abs/2609.35695v1
- Date: Mon, 28 Sep 2026 17:38:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:36:35.865546
- Title: Rethinking Personalized Generation: Test-Time Alignment via Factorized Ranking Models
- Title（参考訳）: パーソナライズド・ジェネレーションの再考:要因的ランク付けモデルによるテスト時間アライメント
- Abstract要約: テスト時間アライメントによるパーソナライズのための大規模で未完成なパフォーマンスヘッドルームの存在を示す。
パーソナライズされた生成はBest-of-N(BoN)のようなテスト時間スケーリング手法に一意に適していることを示す。
我々のパーソナライズされたランキングモデルは、最小限のオーバーヘッドでベースジェネレータの内部埋め込みを直接再利用する。
- 参考スコア（独自算出の注目度）: 14.560026613687846
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Aligning large language models (LLMs) to diverse user preferences is fundamentally hindered by standard alignment paradigms that optimize for monolithic users. In this work, empirical studies are first used to reveal the existence of a massive, untapped performance headroom for personalized generation through test-time alignment. We demonstrate that personalized generation is uniquely suited for test-time scaling methods like Best-of-N (BoN) because it can be viewed primarily as a candidate matching problem rather than a generator capability bottleneck. While reward models could in principle exploit this headroom, they are poorly calibrated for personalization, and their billion-parameter scale makes scoring large candidate pools prohibitively expensive. To overcome this limitation, we propose a parameter-efficient framework utilizing million-parameter scale multi-layer perceptron (MLP) ranking models. Our personalized ranking model directly reuses the internal embeddings of the base generator with minimal overhead. By scaling train-time data to provide fine-grained personalized preferences, this million-parameter ranking model accurately scores large candidate pools and can seamlessly guide generation to reduce the cost of materializing N candidates. Extensive experiments on nine datasets spanning three personalized generation settings show that our personalized ranking model effectively exploits the discovered headroom, outperforming billion-parameter generalist reward models on every dataset, with under 0.4% of their parameters and four orders of magnitude lower scoring latency.
- Abstract（参考訳）: 大きな言語モデル(LLM)を多様なユーザの好みに合わせることは、モノリシックなユーザのために最適化される標準アライメントパラダイムによって、根本的に妨げられます。
本研究は,テスト時間アライメントによるパーソナライズのための大規模で未完成なパフォーマンス・ヘッドルームの存在を明らかにするために,実証研究として最初に用いられている。
我々は,Best-of-N (BoN) のようなテスト時間スケーリング手法に特化してパーソナライズされた生成が適していることを示す。
報酬モデルは原則としてこのヘッドルームを活用できるが、パーソナライズには適さない。
この制限を克服するために,100万パラメータスケール多層パーセプトロン(MLP)ランキングモデルを利用したパラメータ効率のよいフレームワークを提案する。
我々のパーソナライズされたランキングモデルは、最小限のオーバーヘッドでベースジェネレータの内部埋め込みを直接再利用する。
列車時のデータをスケールして詳細なパーソナライズされた好みを提供することで、この100万パラメータランキングモデルは、大きな候補プールを正確にスコアし、生成をシームレスにガイドし、N候補の具体化コストを削減できる。
3つのパーソナライズされた生成設定にまたがる9つのデータセットの大規模な実験により、我々のパーソナライズされたランキングモデルは、発見されたヘッドルームを効果的に活用し、各データセットで10億パラメータのジェネラリスト報酬モデルよりも優れており、パラメータの0.4%以下と4桁以下のスコアリングレイテンシが得られている。
関連論文リスト
- Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures [26.927205237105156]
パーソナライズされたポリシーモデルからN候補をサンプリングし、パーソナライズされた報酬モデルを用いてベストを選択することにより、スケーリング推定時間を計算する。
オラクルの選択は、サンプル候補数と対数的に増大する期待効用が得られることを証明している。
確率論的パーソナライズされた報酬モデルを提案する。
論文 参考訳（メタデータ） (2026-05-09T12:09:11Z) - Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。
パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。
我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
論文 参考訳（メタデータ） (2026-02-12T20:41:22Z) - CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs [60.867541073274715]
双方向ユーザエンコーダと離散プロトタイプコードブックを用いて,多次元ユーザ特性を抽出する新しいフレームワークCURPを提案する。
この設計により、少数のトレーニング可能なパラメータでプラグアンドプレイのパーソナライズが可能となる。
CURPは,強いベースラインに比べて優れた性能と一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-01-31T14:13:06Z) - LOCUS: A System and Method for Low-Cost Customization for Universal Specialization [4.151679589098346]
我々は、NLPモデルの構築とトレーニングを合理化するために、数ショットのデータを消費するパイプラインであるLOCUSを提案する。
ラベル付きサンプルは少ないが、LOCUSは広範なリポジトリで関連するデータを発見し、コンテキスト内データ生成と微調整モデルを通じて追加のトレーニングサンプルを合成する。
論文 参考訳（メタデータ） (2025-12-06T01:32:58Z) - User-centric Subjective Leaderboard by Customizable Reward Modeling [34.40455169451943]
ユーザ中心型主観的リーダーシップ(USL)について紹介する。
さまざまな現実世界のシナリオにまたがって、大規模言語モデル(LLM)の好み駆動の動的ランキングを提供する。
我々の研究は、10万件以上の主観的クエリを含む、実際の人間の嗜好データの徹底的な調査に基づいている。
論文 参考訳（メタデータ） (2025-08-13T03:39:04Z) - DataDecide: How to Predict Best Pretraining Data with Small Experiments [67.95896457895404]
私たちはDataDecideのモデル、データ、評価を公開しています。
最大100Bトークン,最大1Bパラメータのモデルサイズ,および3つのランダムシードを用いて,25コーパスにわたる事前学習実験を行った。
論文 参考訳（メタデータ） (2025-04-15T17:02:15Z) - Personalized Language Models via Privacy-Preserving Evolutionary Model Merging [53.97323896430374]
言語モデルにおけるパーソナライゼーションは、個々のユーザやユーザグループに対する振る舞いをモデル化することを目的としている。
進化的アルゴリズム(PriME)によるプライバシ保護モデルマージを提案する。
PriMEは、プライバシーリスクを低減しつつ、ユーティリティを直接最適化するために、勾配のない方法を採用している。
LaMPベンチマークの実験によると、Primeは一貫してベースラインを上回り、タスクパフォーマンスを最大45%改善している。
論文 参考訳（メタデータ） (2025-03-23T09:46:07Z) - An Optimization Framework for Differentially Private Sparse Fine-Tuning [24.545715091775488]
差分的プライベート勾配降下(DP-SGD)は、差分プライバシー(DP)の下でのトレーニングおよび微調整ニューラルネットワークのゴールドスタンダードであると考えられている。
最近の研究によると、プライベートな微調整はモデルの重量のごく一部に過ぎず、残りの重量を固定し続けることで性能が向上する。
本研究では,DP下でのニューラルネットワークのスパース微調整のための新しい手法を提案する。
論文 参考訳（メタデータ） (2025-03-17T05:05:05Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T16:14:59Z) - Sample-Efficient Personalization: Modeling User Parameters as Low Rank
Plus Sparse Components [30.32486162748558]
個人ユーザ/ドメイン/エンタプライズに対する機械学習(ML)予測のパーソナライズは,実践的なレコメンデーションシステムにおいて重要である。
ネットワーク重みを低ランクおよびスパース成分の和としてモデル化するメタラーニング方式を提案する。
AMHT-LRSは、ほぼ最適なサンプル複雑さで効率よく問題を解く。
論文 参考訳（メタデータ） (2022-10-07T12:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。