論文の概要: Personalizing LLMs with Binary Feedback: A Preference-Corrected Optimization Framework

• arxiv url: http://arxiv.org/abs/2605.10043v1
• Date: Mon, 11 May 2026 06:12:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.565868
• Title: Personalizing LLMs with Binary Feedback: A Preference-Corrected Optimization Framework
• Title（参考訳）: 2元フィードバックによるLLMのパーソナライズ:優先順位補正最適化フレームワーク
• Authors: Xilai Ma, Liye Zhao, Weijun Yao, Haibing Di, Wenya Wang, Jing Li,
• Abstract要約: 大言語モデル(LLM)のパーソナライゼーションは、モデルの振る舞いを個々のユーザの好みに合わせることを目的としている。 既存の手法は、ユーザー間の差異の本質的な役割を無視して、孤立したユーザー履歴に焦点を当てることが多い。 C-BPO(C-BPO)は、好み校正されたバイナリ信号を介してLLMをパーソナライズするフレームワークである。
• 参考スコア（独自算出の注目度）: 17.343792633458254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) personalization aims to align model behaviors with individual user preferences. Existing methods often focus on isolated user histories, neglecting the essential role of inter-user differences. We propose C-BPO, a framework that personalizes LLMs via preference-calibrated binary signals. By treating target user data as positive feedback and other users' data as an auxiliary set of implicit negative signals, C-BPO captures distinct inter-user differences. To mitigate the preference overlap issue, where shared task knowledge is erroneously penalized, we derive an objective grounded in Positive-Unlabeled (PU) learning theory. This approach purifies negative signals by subtracting ``positive bias'', ensuring alignment with unique idiosyncrasies without compromising general helpfulness. Empirical experiments across various personalization tasks and backbone LLMs show C-BPO consistently outperforms baselines, demonstrating the efficacy of preference-calibrated binary signals in modeling inter-user differences.
• Abstract（参考訳）: 大言語モデル(LLM)のパーソナライゼーションは、モデルの振る舞いを個々のユーザの好みに合わせることを目的としている。 既存の手法は、ユーザー間の差異の本質的な役割を無視して、孤立したユーザー履歴に焦点を当てることが多い。 C-BPO(C-BPO)は、好み校正されたバイナリ信号を介してLLMをパーソナライズするフレームワークである。 対象のユーザデータを肯定的なフィードバックとして扱い、他のユーザのデータを暗黙的な負の信号の補助的なセットとして扱うことで、C-BPOはユーザ間の差異を区別する。 タスク知識の共有が誤ってペナル化される場合の優先重複問題を緩和するために,肯定的無ラベル学習理論(PU)に基づく目的を導出する。 このアプローチは「正のバイアス」を減じることで負のシグナルを浄化し、一般的な有用性を損なうことなく特異な慣用句との整合性を確保する。 様々なパーソナライズタスクとバックボーンLLMの実証実験により、C-BPOはベースラインを一貫して上回り、ユーザ間の差異をモデル化する上で、優先校正されたバイナリ信号の有効性を示す。

関連論文リスト

• POPI: Personalizing LLMs via Optimized Natural Language Preference Inference [42.25870704040321]
  POPIは、不均一なユーザ信号を簡潔な自然言語要約に変換するための選好推論モデルを導入する一般的なフレームワークである。 これらの要約は、パーソナライズされた応答を生成するために共有生成モデルを必要とする透明でコンパクトで、転送可能なパーソナライズ表現として機能する。 4つのパーソナライズベンチマークによる大規模な実験により、POPIはパーソナライズ精度を常に改善し、コンテキストオーバーヘッドを大きなマージンで低減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T23:07:57Z)
• NextQuill: Causal Preference Modeling for Enhancing LLM Personalization [82.15961484963256]
  因果選好モデルに基づく新しいパーソナライズフレームワークであるNextQuillを紹介する。 この洞察に基づいて、NextQuillは2つの補完的なアライメント戦略を導入した。 複数のパーソナライズベンチマークの実験により、NextQuillはパーソナライズ品質を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-06-03T02:08:55Z)
• HyPerAlign: Interpretable Personalized LLM Alignment via Hypothesis Generation [24.67727411391369]
  HyPerAlignは、大規模言語モデルに対する解釈可能かつサンプル効率の仮説駆動パーソナライズアプローチである。 我々は2つの異なるパーソナライズタスク、すなわち著者帰属と熟考的アライメントについて実験を行った。 その結果、仮説駆動型パーソナライゼーションの方が好みに基づく微調整法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-29T18:01:46Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Binary Classifier Optimization for Large Language Model Alignment [4.61411484523337]
  ChatGPTのような現実世界のサービスでは、ユーザーフィードバックに基づいたモデルの調整がパフォーマンス向上に不可欠である。 既存のアライメント研究の多くは、ペアとして正と負の両方の反応を必要とする嗜好に基づくアプローチに依存している。 本稿では,バイナリフィードバックのみを用いてLLMを効果的に整合させる手法であるバイナリ最適化(BCO)を提案する。
  論文  参考訳（メタデータ） (2024-04-06T15:20:59Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Bootstrapping User and Item Representations for One-Class Collaborative Filtering [24.30834981766022]
  ワンクラスの協調フィルタリング(OCCF)は、ポジティブに関連があるがまだ相互作用していないユーザーとアイテムのペアを特定することです。 本論文では,否定的なサンプリングを必要としない新しいOCCFフレームワークであるBUIRを提案する。
  論文  参考訳（メタデータ） (2021-05-13T14:24:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。