論文の概要: Preference Elicitation for Policy Optimization and Application to Aligning Heart Transplantation with Human Values

• arxiv url: http://arxiv.org/abs/2608.28620v1
• Date: Wed, 29 Jul 2026 13:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.4146
• Title: Preference Elicitation for Policy Optimization and Application to Aligning Heart Transplantation with Human Values
• Title（参考訳）: 政策最適化のための優先的緩和と人的価値による心臓移植への応用
• Abstract要約: 従来の手法よりも優れた線形ユーティリティのための新しい選好抽出アルゴリズムを構築した。 本手法を、競合する目標のバランスをとるためのポリシーが必要とされる心臓移植割当に適用する。 提案アルゴリズムを用いて,コミュニティに適合したユーティリティ関数を学習・集約するユーザスタディを実施し,心臓移植ポリシーの最適化に利用した。
• 参考スコア（独自算出の注目度）: 45.83272225462161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference elicitation is essential for aligning AI systems with human values. Prior approaches (e.g., for organ allocation) often ask stakeholders to compare the decisions of an algorithm (e.g., patient A vs. patient B). Such a decision-level approach conflates the means with the ends. Instead, we elicit preferences directly over allocation outcomes to learn a utility function for policy optimization. We construct a novel preference elicitation algorithm for linear utilities that outperforms prior techniques in practice. Our algorithm has two phases. The first phase learns cutting planes through pairwise comparisons to rapidly shrink the space of possible attribute weights and warm-starts the second phase by eliminating dominated regions. The second phase then provably converges to the user's utility function. We apply our technique to heart transplant allocation where a policy must balance competing objectives such as post-transplant outcomes, waitlist mortality, geographic ease, and equity. Using our algorithm, we conduct a user study to learn and aggregate a community-aligned utility function, and use it to optimize heart transplant policies that are significantly better aligned with human values. Compared to the hindsight optimum, the status quo policy achieves a competitive ratio of just 0.54, while our method is near-optimal with a competitive ratio of 0.95.
• Abstract（参考訳）: 人的価値とAIシステムを整合させるには、優先的推論が不可欠である。 事前のアプローチ(例:臓器割り当て)は、しばしば利害関係者にアルゴリズムの判断(例:患者Aと患者B)を比較するように求めます。 このような意思決定レベルのアプローチは、手段を端と混同する。 代わりに、ポリシー最適化のためのユーティリティ関数を学ぶために、アロケーション結果を直接優先する。 従来の手法よりも優れた線形ユーティリティのための新しい選好抽出アルゴリズムを構築した。 私たちのアルゴリズムには2つのフェーズがあります。 第1相は2対比較により切断面を学習し、属性重みの空間を急速に縮小し、支配領域を排除して第2相を温める。 次に第2フェーズは、ユーザのユーティリティ機能に確実に収束する。 本手法は,移植後成績,ウェイトリスト死亡率,地理的容易性,およびエクイティといった競合する目標のバランスをとらなければならない心臓移植割当に適用する。 このアルゴリズムを用いて,コミュニティに整合したユーティリティ関数の学習と集約を行うとともに,人的価値に整合した心臓移植ポリシーを最適化する。 後向きの最適条件と比較して、状態クオポリシは競争比がわずか0.54であり、我々の手法は競争比が0.95であるのに対して、ほぼ最適である。

関連論文リスト

• Aligning Data-Driven Predictors with Allocation: A Decision-Focused Approach to Survival Analysis [52.10284705210197]
  機械学習予測器は、アロケーションに使用する場合、任意に貧弱な結果が得られることを示す。 正規化割引累積ゲイン(NDCG)の最適化に基づく意思決定型学習手法を提案する。 既存の生存モデルのNDCGを最適化するためのブートストラップ手法を提案する。
  論文  参考訳（メタデータ） (2026-06-01T12:03:22Z)
• Learning Potentials for Dynamic Matching and Application to Heart Transplantation [45.83272225462161]
  本稿では, 一般のオンラインマッチングにおいて, 潜在能力に依存した非神秘的ポリシー最適化のための新しい枠組みを提案する。 我々のアプローチは、自己監督型模倣学習の一形態であり、ポテンシャルは、完全なフォアビジョンを持つアルゴリズムを模倣するように訓練されている。
  論文  参考訳（メタデータ） (2026-02-09T16:39:12Z)
• Inverse Optimality for Fair Digital Twins: A Preference-based approach [1.5756571514779074]
  本研究は、最適化に基づくDigital Twinsにおいて、学習可能な目的として公正性を導入するフレームワークを提案する。 専用のシームズニューラルネットワークが開発され、コンテキスト情報に基づいて凸2次コスト関数を生成する。 このアプローチの有効性は、新型コロナウイルスの病院リソース割り当てシナリオで実証される。
  論文  参考訳（メタデータ） (2025-12-01T13:23:27Z)
• Direct Preference Optimization with Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-17T15:00:40Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Direct Preference Optimization With Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T21:25:20Z)
• Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits [82.28442917447643]
  悲観的OPOのための最初の一般オラクル効率アルゴリズムを提案する。 従来の悲観的アプローチと類似した統計的保証を得る。 我々は多種多様な構成の非正規化OPOに対して優位性を示す。
  論文  参考訳（メタデータ） (2023-06-13T17:29:50Z)
• Understanding the Effect of Stochasticity in Policy Optimization [86.7574122154668]
  最適化手法の優位性は、正確な勾配が用いられるかどうかに大きく依存することを示す。 次に,政策最適化におけるコミット率の概念を紹介する。 第三に、外部のオラクル情報がない場合には、収束を加速するために幾何を利用することと、最適性をほぼ確実に達成することとの間に本質的にトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-29T06:35:44Z)
• Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
  平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。 ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。 そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-08T00:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。