論文の概要: Fair-PP: A Synthetic Dataset for Aligning LLM with Personalized Preferences of Social Equity

• arxiv url: http://arxiv.org/abs/2505.11861v1
• Date: Sat, 17 May 2025 06:02:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.900212
• Title: Fair-PP: A Synthetic Dataset for Aligning LLM with Personalized Preferences of Social Equity
• Title（参考訳）: Fair-PP:ソーシャルエクイティのパーソナライズされた選好を考慮したLLM調整用合成データセット
• Authors: Qi Zhou, Jie Zhang, Dongxia Wang, Qiang Liu, Tianlin Li, Jin Song Dong, Wenhai Wang, Qing Guo,
• Abstract要約: ソーシャルエクイティをターゲットとしたパーソナライズされた好みの合成データセットであるFair-PPを紹介する。 また、(i)嗜好データを生成するための自動フレームワークと、よりきめ細かいパーソナライズされた嗜好データセット、(ii)パーソナライズされた選好空間内の5大グローバル領域にまたがる既存の主流言語モデルの配置の分析、(iii)パーソナライズされた選好アライメントのためのサンプル再重み付け手法についても貢献する。
• 参考スコア（独自算出の注目度）: 33.36483739554757
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human preference plays a crucial role in the refinement of large language models (LLMs). However, collecting human preference feedback is costly and most existing datasets neglect the correlation between personalization and preferences. To address this issue, we introduce Fair-PP, a synthetic dataset of personalized preferences targeting social equity, derived from real-world social survey data, which includes 28 social groups, 98 equity topics, and 5 personal preference dimensions. Leveraging GPT-4o-mini, we engage in role-playing based on seven representative persona portrayals guided by existing social survey data, yielding a total of 238,623 preference records. Through Fair-PP, we also contribute (i) An automated framework for generating preference data, along with a more fine-grained dataset of personalized preferences; (ii) analysis of the positioning of the existing mainstream LLMs across five major global regions within the personalized preference space; and (iii) a sample reweighting method for personalized preference alignment, enabling alignment with a target persona while maximizing the divergence from other personas. Empirical experiments show our method outperforms the baselines.
• Abstract（参考訳）: ヒトの嗜好は、大規模言語モデル(LLM)の洗練において重要な役割を担っている。 しかし、人間の嗜好フィードバックの収集はコストがかかり、既存のデータセットのほとんどはパーソナライズと嗜好の相関を無視している。 この問題に対処するために,28のソーシャルグループ,98のエクイティトピック,5つの個人的嗜好次元を含む実世界のソーシャルサーベイデータから得られた,ソーシャルエクイティをターゲットとしたパーソナライズされた嗜好の合成データセットであるFair-PPを紹介した。 GPT-4o-miniを活用することで、既存の社会調査データから導かれる7人の代表的人物像に基づいてロールプレイングを行い、合計238,623人の嗜好記録を得た。 Fair-PPを通じて、私たちは貢献します。 一 選好データを生成するための自動フレームワーク及びよりきめ細かい選好データセット 二 パーソナライズされた嗜好空間内の五大グローバル領域にまたがる既存LLMの位置分析 三 個人化選好アライメントのためのサンプル再重み付け方法であって、相手のペルソナとの相違を最大化しつつ、対象ペルソナとのアライメントを可能にするものである。 実験により,本手法はベースラインよりも優れていた。

関連論文リスト

• Anyprefer: An Agentic Framework for Preference Data Synthesis [62.3856754548222]
  ターゲットモデルを調整するための高品質な嗜好データを合成するフレームワークであるAnypreferを提案する。 審査員モデルの応答を正確に評価するために、外部ツールが導入される。 合成されたデータは、58Kの高品質な選好ペアからなる新しい選好データセットであるAnyprefer-V1にコンパイルされる。
  論文  参考訳（メタデータ） (2025-04-27T15:21:59Z)
• Learning a Canonical Basis of Human Preferences from Binary Ratings [28.975782992900065]
  本稿では、そのようなデータセットに符号化された嗜好を理解し、共通の人間の嗜好を特定することに焦点を移す。 21の選好カテゴリーの小さなサブセットは、個人間での選好の変化の89%を捉えていることがわかった。 この小さな嗜好のセットは、人間の嗜好の標準的基礎と類似しており、心理学や顔認識の研究における人間の変動を特徴づける確立された発見と類似している。
  論文  参考訳（メタデータ） (2025-03-31T14:35:48Z)
• FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
  メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。 このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。 公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。 本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
  論文  参考訳（メタデータ） (2025-02-26T17:08:46Z)
• Guided Persona-based AI Surveys: Can we replicate personal mobility preferences at scale using LLMs? [1.7819574476785418]
  本研究では,Large Language Models (LLMs) が人工的なサーベイを生成する可能性について検討する。 合成データ作成にLLMを活用することにより,従来の調査手法の限界に対処することを目指す。 Personas」を取り入れた新しい手法が提案され、他の5つの総合的なサーベイ手法と比較された。
  論文  参考訳（メタデータ） (2025-01-20T15:11:03Z)
• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• Personality Alignment of Large Language Models [30.710131188931317]
  パーソナリティ・アライメント(Personality Alignment)は、大きな言語モデルと個々のユーザの好みを合わせることを目的としている。 このデータセットには、複数のパーソナリティアセスメントを含む、32万人以上の実際の被験者のデータが含まれている。 本研究では,個人の行動選好を効率的に整合させるために,アクティベーション介入最適化手法を開発した。 私たちの仕事は、未来のAIシステムが真にパーソナライズされた方法で意思決定と推論を行うための道を開くものです。
  論文  参考訳（メタデータ） (2024-08-21T17:09:00Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
  本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。 分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。 十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
  論文  参考訳（メタデータ） (2023-12-12T16:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。