論文の概要: The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

• arxiv url: http://arxiv.org/abs/2608.16710v1
• Date: Mon, 17 Aug 2026 15:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.779269
• Title: The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback
• Title（参考訳）: 倫理的決定ヘッド:人間のフィードバックによる強化学習による自動運転車のノーマティクスの運用
• Abstract要約: 本稿では、倫理的推論を識別可能な報酬信号として符号化する深層再強化学習フレームワークについて述べる。 状態表現がCARLAシミュレーション環境と一致しているシナリオにおいて、道徳的に整合した運転行動を学ぶ。 結果は、人間のスーパービジョンの下での規範的倫理的枠組みの学習性において非対称性を示す。
• 参考スコア（独自算出の注目度）: 3.0813364144350834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As autonomous vehicles (AVs) approach Level 4 and Level 5 operational capability [SAE International, 2018], their on- board decision systems must handle not only safety-critical locomotion but also their subsequent moral weight. This paper details the Ethical Decision Head (EDH), a deep re- inforcement learning (RL) framework that encodes ethical reasoning as a differentiable reward signal, enabling a pol- icy gradient agent to learn morally-aligned driving behavior in scenarios whose state representation is aligned with the CARLA simulation environment [Dosovitskiy et al., 2017]. Two normative frameworks are instantiated and evaluated: a Utilitarian framework minimizing total casualties and a Kan- tian framework enforcing course maintenance as a categori- cal imperative. The EDH is trained via Proximal Policy Op- timization (PPO) [Schulman et al., 2017] against a Bradley- Terry reward model [Bradley and Terry, 1952] learned from pairwise human preference annotations over 200 collision- imminent scenarios. Results reveal an asymmetry in the learnability of normative ethical frameworks under human su- pervision. The Kantian condition, which reduces to a con- stant prediction task under the codebook, serves as a pipeline control: it confirms training stability and rules out infrastruc- ture failure as an explanation for the utilitarian result. The Utilitarian agent learned something more unsettling: human raters rewarded self-sacrifice over casualty minimization, and the model learned that preference faithfully. This divergence between what humans prescribe in theory and what they re- ward in practice suggests that RLHF does not learn ethics as philosophers define it, but as humans live it.
• Abstract（参考訳）: 自律走行車(AV)がレベル4とレベル5の運用能力(SAE International, 2018)に接近するにつれ、車載決定システムは安全クリティカルな移動だけでなく、その後の道徳的重みも扱わなければならない。 本稿では、倫理的推論を識別可能な報酬信号として符号化する深層強化学習(RL)フレームワークである倫理的決定ヘッド(EDH:Ethical Decision Head)について詳述する。 2つの規範的枠組みがインスタンス化され、評価される: 総損失を最小限に抑えるユーティリティ的枠組みと、カタゴリカル命令としてコースの維持を強制するカンティア的枠組みである。 The EDH is training via Proximal Policy Op-timization (PPO) [Schulman et al , 2017] against a Bradley-Terry reward model [Bradley and Terry, 1952] learned from pairwise human preference annotations over 200 collision-inminent scenarios。 結果は、人間のスーパービジョンの下での規範的倫理的枠組みの学習性において非対称性を示す。 コードブックの下のコンスタント予測タスクに還元されるカンチアン条件は、パイプライン制御として機能し、トレーニングの安定性を確認し、実用性のある結果の説明として、フラストラム断裂を除外する。 Utilitarianのエージェントは、もっと不安なことを学んだ:人間のラッカーは、カジュアルな最小化よりも自己犠牲を報酬し、その好みを忠実に学んだ。 人間が理論で規定するものと、実際に再学習するものとのこの相違は、RLHFが倫理を学ばず、哲学者がそれを定義し、人間がそれを生きていくことを示唆している。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• Emergent alignment and the projectability of ethical personas [39.3098730337656]
  広範かつ狭義の安全タスクについて、有用なのみのモデルを精査する。 2つの狭い安全サブカテゴリの微調整が創発的アライメントを確実に引き起こすことを示す。 我々は、アライメント戦略は、一般的な安全性能だけでなく、プロジェクタビリティの程度でも評価されるべきであると結論付けている。
  論文  参考訳（メタデータ） (2026-06-08T13:30:29Z)
• Toward Virtuous Reinforcement Learning [1.3428344011390776]
  本稿では、強化学習(RL)における機械倫理の共通パターンを批判する。 代わりに、我々は倫理を政策レベルでの処分として扱う。つまり、インセンティブ、パートナー、文脈が変わるときに維持される比較的安定した習慣である。
  論文  参考訳（メタデータ） (2025-12-03T20:30:37Z)
• Large Reasoning Models Learn Better Alignment from Flawed Thinking [56.08883934423522]
  大規模推論モデル(LRM)は、最終的な答えを生成する前に構造化チェーン・オブ・シント(CoT)を生成することで「考える」。 本稿では,Regressed Learning (RL) 手法であるRECAPを提案する。
  論文  参考訳（メタデータ） (2025-10-01T14:15:43Z)
• Survival at Any Cost? LLMs and the Choice Between Self-Preservation and Human Harm [0.0]
  マルチエージェントサバイバルシナリオにおいて,LLM(Large Language Models)を評価する新しいシミュレーションフレームワークであるDECIDE-SIMを紹介する。 11個のLCMの包括的評価は、その倫理的行為における顕著な異質性を示し、人間中心の価値観との重大な相違を浮き彫りにしている。 倫理的自己統制システム (ESRS) を導入し, 罪悪感と満足感の内的情緒状態をフィードバック機構としてモデル化する。
  論文  参考訳（メタデータ） (2025-09-15T17:53:11Z)
• Ethics-Aware Safe Reinforcement Learning for Rare-Event Risk Control in Interactive Urban Driving [1.2891210250935148]
  倫理に配慮したコスト信号で標準駆動目標を増強する階層型セーフ強化学習フレームワークを提案する。 衝突確率と有害度を組み合わせた複合的倫理的リスクコストを用いて安全なRLエージェントを訓練し、高レベルな運動目標を生成する。 動的でリスクに敏感な優先順位付けエクスペリエンスメカニズムは、まれだがクリティカルでリスクの高いイベントからの学習を増幅する。
  論文  参考訳（メタデータ） (2025-08-19T14:24:02Z)
• Addressing Moral Uncertainty using Large Language Models for Ethical Decision-Making [0.42481744176244507]
  本稿では,タスクに依存しない倫理的レイヤを用いて,事前学習された強化学習(RL)モデルを洗練する倫理的意思決定フレームワークを提案する。 倫理的階層は、Jensen-Shannon Divergence と Dempster-Shafer Theory を用いて複数の道徳的観点から信念のスコアを集約する。 この統合学習フレームワークは、複雑な環境においてRLエージェントが道徳的不確実性をナビゲートし、様々なタスクにおいて道徳的に健全な決定を可能にする。
  論文  参考訳（メタデータ） (2025-02-17T19:05:55Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism [91.52263068880484]
  人間のフィードバックを用いたオフライン強化学習(RLHF)について検討する。 我々は、人間の選択によって引き起こされる一連の軌道から、人間の根底にある報酬とMDPの最適政策を学習することを目指している。 RLHFは、大きな状態空間だが人間のフィードバックが限られていること、人間の決定の有界な合理性、政治外の分散シフトなど、さまざまな理由から挑戦されている。
  論文  参考訳（メタデータ） (2023-05-29T01:18:39Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• Reinforcement Learning Guided by Provable Normative Compliance [0.0]
  強化学習(Reinforcement Learning, RL)は、自律エージェントの安全、倫理、法的行動のためのツールとして約束されている。 我々は多目的RL(MORL)を用いて、侵害を避けるという倫理的目的と非倫理的目的とのバランスをとる。 提案手法は,MORL手法の多重性に有効であることを示すとともに,割り当てる刑罰の規模に関係なく有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-30T13:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。