論文の概要: Steerable Cultural Preference Optimization of Reward Models

• arxiv url: http://arxiv.org/abs/2606.18606v1
• Date: Wed, 17 Jun 2026 02:10:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.964689
• Title: Steerable Cultural Preference Optimization of Reward Models
• Title（参考訳）: リワードモデルの安定的文化選好最適化
• Authors: Minsik Oh, Advit Deepak, Sophie Wu, Douwe Kiela, Ekaterina Shutova,
• Abstract要約: 大規模言語モデル(LLM)技術は、多くの異なる文化的サブコミュニティに役立てることが不可欠である。 本稿では,よりグローバルな展望でアライメントモデルの開発を進めることを目的とする。 多様な文化的嗜好をバランスよく組み込むことができる新しい報酬モデルトレーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 24.679448091805714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is essential for large language model (LLM) technology to serve many different cultural sub-communities in a manner that is acceptable to each community. However, research on LLM alignment has so far predominantly focused on predicting a unified response preference of annotators from certain regions. This paper aims to advance the development of alignment models with a more global outlook, that are able to accurately represent the preferences of subcommunities and do not exhibit excessive bias towards any of them. We focus on the development of reward models for this purpose and present a novel reward model training algorithm (SCPO) that can incorporate diverse cultural preferences in a balanced manner. Our method results in performance increases of the minority reward model of up to 7 points over the baseline model across two datasets, PRISM and GlobalOpinionQA, and across 7 countries. SCPO is up to 280% more training data-efficient than full-data finetuning of reward models. In addition, we perform analysis of bias by separately evaluating on the preference of subcommunities and show that excessive bias is mitigated via our weighting method. Our code is available at https://github.com/minsik-ai/Steerable-Cultural-Preference
• Abstract（参考訳）: 大規模言語モデル(LLM)技術は、各コミュニティに受け入れられる方法で、多くの異なる文化的サブコミュニティに奉仕することが不可欠である。 しかしながら、LLMアライメントの研究は、特定の領域からのアノテータの統一応答選好を予測することに重点を置いている。 本稿では,よりグローバルな展望を持つアライメントモデルの開発を進めることを目的としており,サブコミュニティの嗜好を正確に表現することができ,それらに対して過度な偏見を示さない。 この目的のための報酬モデルの開発に焦点をあて、多様な文化的嗜好をバランスよく組み込むことのできる新しい報酬モデルトレーニングアルゴリズム(SCPO)を提案する。 提案手法は,PRISMとGlobalOpinionQAという2つのデータセットのベースラインモデルに対して,最大7ポイントのマイノリティ報酬モデルの性能向上をもたらす。 SCPOは、報酬モデルのフルデータ微調整よりも、トレーニングデータ効率が最大で280%向上する。 さらに,サブコミュニティの嗜好を別々に評価することで偏見の分析を行い,重み付け法により過度な偏見が緩和されることを示す。 私たちのコードはhttps://github.com/minsik-ai/Steerable-Cultural-Preferenceで利用可能です。

関連論文リスト

• Detecting Prefix Bias in LLM-based Reward Models [4.596249232904721]
  選好データセットに基づいて訓練された報酬モデルにおいて,プレフィックスバイアスを検知し,評価するための新しい手法を提案する。 これらの指標を活用して、人種と性別の異なる嗜好モデルにおける大きなバイアスを明らかにします。 本研究は,公正かつ信頼性の高い報酬モデルを開発する上で,バイアス対応データセットの設計と評価を重要視するものである。
  論文  参考訳（メタデータ） (2025-05-13T21:50:03Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Aligning Crowd Feedback via Distributional Preference Reward Modeling [28.754532173765686]
  本研究では,大規模言語モデルと多様な人間の嗜好を一致させるために,DPRM(Distributedal Preference Reward Model)を提案する。 実験の結果,DPRM は LLM と人口嗜好の整合性を著しく向上させ,より正確で偏りがなく,文脈的に適切な応答をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-15T07:29:43Z)
• MaxMin-RLHF: Alignment with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。