論文の概要: Metanormative Theory for RL-Based Moral Agents

• arxiv url: http://arxiv.org/abs/2608.08220v1
• Date: Sat, 08 Aug 2026 16:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.727783
• Title: Metanormative Theory for RL-Based Moral Agents
• Title（参考訳）: RL系モーラルエージェントのメタノルミティブ理論
• Abstract要約: 本研究の目的は, メタノルミティブ理論における最近の研究から, 人工的道徳的・価値に整合したエージェントの設計に有用なアイデアを導き出すことである。 これにより、RLエージェントの動作がモラルとして分類される場合のより明確な基準と、RLベースの異なるアプローチによる機械倫理と価値アライメントの評価と比較の基盤が得られます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The overlapping disciplines of machine ethics and value alignment are concerned with designing artificial agents that are aligned with human values and that act in ethically acceptable ways. A recent trend in these disciplines is the use of reinforcement learning (RL) to design such agents, sidelining the philosophical literature that used to play a more central role. Against this backdrop, this paper pursues two goals. The first is to draw out ideas from recent work in metanormative theory that can be useful for designing artificial moral and value-aligned agents. The second is to examine the RL architecture through the lens of these ideas. This will give us clearer criteria for when an RL agent's behavior can be classified as moral, as well as a basis for evaluating and comparing different RL-based approaches to machine ethics and value alignment.
• Abstract（参考訳）: 機械倫理と価値アライメントの重なり合う規律は、人間の価値観に適合し、倫理的に許容できる方法で行動する人工エージェントを設計することに関するものである。 これらの分野の最近の傾向は、そのようなエージェントを設計するために強化学習(RL)を使うことであり、かつてはより中心的な役割を担っていた哲学文献を横に並べている。 この背景から,本論文は2つの目標を追求する。 1つ目は、メタノルミティブ理論における最近の研究からアイデアを引き出すことであり、これは人工的な道徳的および価値に整合したエージェントを設計するのに有用である。 2つ目は、これらのアイデアのレンズを通してRLアーキテクチャを調べることである。 これにより、RLエージェントの振る舞いをモラルとして分類し、異なるRLベースのアプローチを機械倫理と価値アライメントで評価し比較する上で、より明確な基準が得られます。

関連論文リスト

• Multimodal Reinforcement Learning with Agentic Verifier for AI Agents [131.46008226323423]
  Argosは、エージェントタスクの推論モデルをトレーニングするための、原則化されたマルチモーダル報酬エージェントである。 エージェント検証をSFTデータとRLトレーニングの両方で活用することにより、我々のモデルは最先端の結果を得ることができる。
  論文  参考訳（メタデータ） (2025-12-03T04:42:47Z)
• Dual-Weighted Reinforcement Learning for Generative Preference Modeling [61.443461640955796]
  本稿では,2重強化学習(DWRL)を嗜好モデリングの新しいフレームワークとして提案する。 本稿では、DWRLを生成的嗜好モデル(GPM)を訓練して嗜好モデルに適用し、まず思考を生成し、それから人間の選好スコアを予測する。 その結果、DWRLは、検証可能なタスク以上の推論強化された選好学習の一般的なフレームワークとして位置づけられた。
  論文  参考訳（メタデータ） (2025-10-17T02:14:24Z)
• Critique-Coder: Enhancing Coder Models by Critique Reinforcement Learning [49.35842828047236]
  強化学習(Reinforcement Learning, RL)は、特に推論モデルと組み合わせた場合、一般的なトレーニングパラダイムとして現れている。 本稿では,モデルが与えられた(探索,解)ペアに対する批判を生成するための批判強化学習(CRL)を提案する。 textscCritique-Coderは、RLのみのベースラインを異なるベンチマークで一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-09-26T18:30:49Z)
• Moral Alignment for LLM Agents [3.7414804164475983]
  我々は,人間の中心的価値を明確にかつ透過的にエンコードする報酬関数の設計を導入する。 我々は,Deontological EthicsとUtilitarianismの伝統的な哲学的枠組みを用いて,我々のアプローチを評価する。 我々は、エージェントが以前開発された自己中心的な戦略を解き放つことを可能にするために、いかに道徳的な微調整を展開できるかを示す。
  論文  参考訳（メタデータ） (2024-10-02T15:09:36Z)
• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning [4.2050490361120465]
  ボトムアップ学習アプローチは、AIエージェントの倫理的行動の研究と開発にもっと適しているかもしれない。 本稿では,道徳理論に基づく報酬を内在的に動機づけたRLエージェントによる選択の体系的分析を行う。 我々は、異なる種類の道徳が協力、欠陥、搾取の出現に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-20T09:36:42Z)
• Automated Machine Learning, Bounded Rationality, and Rational Metareasoning [62.997667081978825]
  有界合理性の観点から、自動機械学習(AutoML)と関連する問題を考察する。 リソース境界の下でアクションを取るには、エージェントがこれらのリソースを最適な方法で利用する方法を反映する必要がある。
  論文  参考訳（メタデータ） (2021-09-10T09:10:20Z)
• Reinforcement Learning Under Moral Uncertainty [13.761051314923634]
  機械学習の野心的な目標は、倫理的に振る舞うエージェントを作ることだ。 倫理的エージェントは、特定の道徳理論の下で正しい行動に報いることによって訓練することができるが、道徳性の本質について広く意見の相違がある。 本稿では、競合するデシダラタの異なる点を実現するための2つのトレーニング手法を提案し、モラルの不確実性の下で行動するための単純な環境におけるエージェントを訓練する。
  論文  参考訳（メタデータ） (2020-06-08T16:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。