論文の概要: Steerable Pluralistic Policy Alignment from Anonymized Crowd Feedback

• arxiv url: http://arxiv.org/abs/2610.26914v1
• Date: Sat, 17 Oct 2026 06:14:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.383837
• Title: Steerable Pluralistic Policy Alignment from Anonymized Crowd Feedback
• Title（参考訳）: 匿名化集団フィードバックからの安定多元的ポリシーアライメント
• Abstract要約: 複数アライメントのための新しいフレームワークであるPreference-PCA Pluralistic Learning (P3L)を提案する。 P3LはPCA分解により軌道埋め込みと選好方向の共有基底を共同で学習する。 テスト時には、迅速かつ正確にパーソナライズされた報酬学習と下流ポリシー最適化を可能にする。
• 参考スコア（独自算出の注目度）: 11.420435666385375
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Pluralistic alignment requires AI systems to learn from diverse populations whose preferences may reflect heterogeneous or even conflicting objectives, and to personalize their behavior to individual users. Existing approaches in pluralistic alignment often assume access to annotator identities and rely on powerful pretrained representations to model individual preference variations. We propose Preference-PCA Pluralistic Learning (P3L), a novel framework for pluralistic alignment that jointly learns trajectory embeddings and the shared basis of preference directions via PCA decomposition from heterogeneous crowd feedback without requiring annotator identities. At test time, our approach enables rapid and accurate personalized reward learning and downstream policy optimization. Experiments across multiple embodied control tasks demonstrate that P3L enables steerable personal alignment that generalizes beyond the offline dataset to out-of-distribution new users and attains competitive RL and test performance, while substantially reducing computational cost and supporting variable adaptation query budgets.
• Abstract（参考訳）: 多元的アライメントは、不均一あるいは矛盾する目的を反映する様々な集団からAIシステムを学び、その振る舞いを個々のユーザにパーソナライズすることを要求する。 複数のアライメントにおける既存のアプローチは、しばしばアノテータのアイデンティティへのアクセスを前提としており、個人の好みのバリエーションをモデル化するために、強力な事前訓練された表現に依存している。 提案するPreference-PCA Pluralistic Learning (P3L) は多元的アライメントのための新しいフレームワークで,アノテータのアイデンティティを必要とせず,異種集団フィードバックからのPCA分解による軌道埋め込みと選好方向の共有を共同で学習する。 テスト時には、迅速かつ正確にパーソナライズされた報酬学習と下流ポリシー最適化を可能にする。 複数の具体的制御タスクにわたる実験により、P3Lは、オフラインデータセットを超えて新たなユーザをアウト・オブ・ディストリビュートし、競合するRLとテストパフォーマンスを達成し、計算コストを大幅に削減し、可変適応クエリ予算をサポートする、ステアブルな個人アライメントを可能にする。

関連論文リスト

• PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning [50.63196995993855]
  多目的強化学習(MORL)を活用してPCHC(Preference-Conditioned Humanoid Control)を実現する新しいフレームワークを提案する。 当社のフレームワークは、単一の嗜好条件のポリシーを多種多様な行動を示すために有効である。
  論文  参考訳（メタデータ） (2026-03-25T07:55:37Z)
• Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment [13.085014101959118]
  我々は、バッチ統計から有利な推定を分離する新しいアライメントフレームワークであるPersonalized GRPOを紹介する。 我々はP-GRPOを多種多様なタスクで評価し、標準のGRPOよりも高速な収束と高い報酬を達成することを発見した。
  論文  参考訳（メタデータ） (2026-02-17T19:00:43Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Pluralistic Off-policy Evaluation and Alignment [47.35585359400588]
  LLMにおけるオフライン多元的選好評価とアライメントのための最初のフレームワークであるPOPEを提案する。 POPEには、人間の嗜好信号から派生した協調ユーティリティコンポーネントと、エントロピーベースのカバレッジ尺度にインスパイアされた多様性コンポーネントを組み合わせた、統一的な報酬機能が含まれている。 実験の結果,POPEは複数の応答生成を効率よく向上し,下流タスクにおけるモデルの汎用能力を維持できることがわかった。
  論文  参考訳（メタデータ） (2025-09-15T01:57:49Z)
• Steerable Pluralism: Pluralistic Alignment via Few-Shot Comparative Regression [9.624392327607833]
  大規模言語モデル(LLM)は現在、人間のフィードバックから強化学習のような技術を用いて調整されている。 本稿では,個々のユーザの好みに適応可能な,少数ショット比較回帰に基づく評価可能な多元性モデルを提案する。
  論文  参考訳（メタデータ） (2025-08-11T22:40:31Z)
• Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes [54.93980123979578]
  我々は、暗黙の要因をモデル化する新しいフレームワークであるLatent Preference Coding (LPC)を紹介する。 LPCは様々なオフラインアライメントアルゴリズムとシームレスに統合し、基礎となる要因とデータからその重要性を自動的に推測する。
  論文  参考訳（メタデータ） (2025-05-08T06:59:06Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Pareto Inverse Reinforcement Learning for Diverse Expert Policy Generation [6.876580618014666]
  本稿では,識別器の正則化のための報酬距離推定を用いて,逆強化学習(IRL)を適用する。 本稿では,多目的制御タスクにおいて,ParIRLが他のIRLアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-22T03:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。