論文の概要: PerSPL: Personalized Semi-supervised Preference Learning

• arxiv url: http://arxiv.org/abs/2610.29219v1
• Date: Wed, 21 Oct 2026 05:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.214452
• Title: PerSPL: Personalized Semi-supervised Preference Learning
• Title（参考訳）: PerSPL: パーソナライズされた半教師付き推論学習
• Abstract要約: textbfPerSPL (Personal Semi-supervised Preference Learning) は,ペア平均スコアを用いてユーザ固有のトレーニング信号への応答を安定化するバックボーンに依存しないフレームワークである。 PerSPLは、目に見えるユーザと目に見えないユーザの両方にとって、最も高い平均精度を達成している。 これらの結果から,ユーザごとの嗜好ラベルが不足している場合,ラベルなし応答はパーソナライズされた報酬モデリングのための追加の監視を提供する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 10.764131400770024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized reward models require user-specific preference comparisons, but collecting such feedback is costly and provides only limited supervision for each user. At the same time, large pools of responses can be generated without user identities or preference labels, yet existing personalized reward models leave this data unused. Directly learning from these responses is difficult because pairwise objectives constrain relative scores within a prompt, whereas pseudo-labeling individual responses requires scores that are comparable across prompts for the same user. We propose \textbf{PerSPL} (Personalized Semi-supervised Preference Learning), a backbone-agnostic framework that uses pair-mean score centering to stabilize this cross-prompt score coordinate and iteratively turns unlabeled responses into user-specific training signals. Against seven representative baselines across four benchmarks---PersonalLLM, HelpSteer2, Reddit TLDR, and Chatbot Arena---PerSPL achieves the highest reported mean accuracy among the evaluated methods for both seen and unseen users. The two latter benchmarks provide real-user preference comparisons in summarization and open-domain chatbot interaction, respectively. These results indicate that unlabeled responses can provide additional supervision for personalized reward modeling when per-user preference labels are scarce.
• Abstract（参考訳）: パーソナライズされた報酬モデルは、ユーザー固有の選好比較を必要とするが、そのようなフィードバックの収集にはコストがかかり、各ユーザーに対して限られた監督しか行わない。 同時に、ユーザのアイデンティティや選好ラベルなしで大量のレスポンスを生成できるが、既存のパーソナライズされた報酬モデルは、このデータを未使用のまま残している。 ペアの目的がプロンプト内で相対的なスコアを制約するのに対して、擬似ラベルの個々のレスポンスは、同じユーザに対してプロンプト間で同等のスコアを必要とするため、これらのレスポンスから直接学ぶことは難しい。 本稿では、このクロスプロンプトスコア座標を安定化するためにペア平均スコアセンタを使用して、ラベルなし応答をユーザ固有のトレーニング信号に反復的に変換するバックボーン非依存フレームワークである「textbf{PerSPL} (Personalized Semi-supervised Preference Learning)」を提案する。 PersonalLLM、HelpSteer2、Reddit TLDR、Chatbot Arenaの4つのベンチマークの7つの代表的ベースラインに対して、PerSPLは、目に見えるユーザと目に見えないユーザの評価方法の中で、最も高い平均精度を達成している。 後者の2つのベンチマークは、それぞれ要約とオープンドメインチャットボットの相互作用において、実際のユーザの好みの比較を提供する。 これらの結果から,ユーザごとの嗜好ラベルが不足している場合,ラベルなし応答はパーソナライズされた報酬モデリングのための追加の監視を提供する可能性が示唆された。

関連論文リスト

• Deployable Human Preference Alignment in Robotics: Learning Representative Rewards from Diverse Human Preferences [2.0531872026357383]
  ユーザごとのアライメントアプローチでは、好みのフィードバックは少ないことが多いため、学習は不安定になり、人間の好みのノイズに対して脆弱になる。 ユーザアライメントに対する単一の共有ポリシアプローチは、このコストを回避するが、不均一な選好をキャプチャできず、少数派選好を無視することが多い。 提案するPreference-based Reward Clustering (PREC) は,多様なユーザによって提供される2進選好ラベルから,コンパクトなポリシーセットを学習する新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-07-14T07:50:43Z)
• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• Response Time Enhances Alignment with Heterogeneous Preferences [49.69696266152175]
  簡易な二次信号で選好データセットを増大させることで、住民の平均選好の識別性を回復できることを示す。 私たちの結果は、将来的なデータ収集パイプラインに約束と新たな機会をもたらします。
  論文  参考訳（メタデータ） (2026-05-07T22:05:23Z)
• P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling [66.55381105691818]
  P-GenRM(Personalized Generative Reward Model)を提案する。 P-GenRMは、選好信号を適応的なペルソナとスコアリングルーリックを導出する構造化評価チェーンに変換する。 さらにユーザをユーザプロトタイプにクラスタリングし、二重粒度スケーリングメカニズムを導入している。
  論文  参考訳（メタデータ） (2026-02-12T16:07:22Z)
• Users as Annotators: LLM Preference Learning from Comparison Mode [9.005226538625474]
  我々は、比較モードからユーザアノテーションをペアワイズに選好するデータを収集する代替手法を検討する。 ユーザの潜在品質係数を推定する予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-10-10T08:57:34Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Beyond the Binary: Capturing Diverse Preferences With Reward Regularization [15.518838657050173]
  この二項選択への依存は、現実のタスクにおいて対象ユーザのより広範囲で集約的な嗜好を捉えるものではない、と我々は主張する。 本稿では、既存の二分選好データセットを合成選好判断で拡張し、潜在的なユーザ不一致を推定する、シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-12-05T02:35:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。