論文の概要: Moral Rebel Agents: Decision-Making Under Conflicting Obligations

• arxiv url: http://arxiv.org/abs/2609.14716v1
• Date: Sun, 13 Sep 2026 18:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.902323
• Title: Moral Rebel Agents: Decision-Making Under Conflicting Obligations
• Title（参考訳）: 道徳的反逆者エージェント: 矛盾する規範の下で決定を下す
• Abstract要約: textbfmoral rebellion: 自律的なエージェントが、道徳的に正当化された場合に、ユーザ指定のタスクから逸脱する能力。 我々は5つのエージェント・アーキテクチャを定式化する:道徳的義務を考慮せずにタスクを遂行するテキストタモラル・エージェントと4種類のテキストタモラル・反乱組織 実験の結果,提案エージェントは,割り当てられたタスク完了,機会的救済,規範順守において,明確なトレードオフを示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.1274452325287335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous agents are typically obliged to follow user-assigned tasks. However, strict obedience may conflict with moral obligations that arise during execution. This paper investigates \textbf{moral rebellion}: the ability of an autonomous agent to deviate from a user-assigned task when morally justified. We formalize five agent architectures: an \textit{amoral agent} that pursues assigned tasks without considering moral obligations, and four forms of \textbf{moral rebel agency}: (1) \textit{utilitarian agents} that opportunistically maximize task outcomes; (2) \textit{deontic} agents that enforce normative constraints; (3) \textit{utilitarian-deontic} (UD) agents that combine deontic constraints with utilitarian reasoning; and (4) \textit{dutiful} agents that additionally preserve commitments to assigned tasks. We implement these architectures within a hierarchical task network planning framework and evaluate them in a Mini Search-and-Rescue domain that exposes trade-offs among assigned-task completion, opportunistic rescue, and norm compliance. Our empirical results show that the proposed agents exhibit distinct trade-offs among rescue results, assigned-task completion, and norm compliance. In particular, the preservation of task commitments emerges as an important dimension of moral rebellion, for which the UD and dutiful agents produce substantially different behaviors despite their shared utilitarian and deontological foundations. These findings highlight the importance of commitment-aware moral reasoning for autonomous agents operating in morally consequential environments.
• Abstract（参考訳）: 自律エージェントは通常、ユーザ指定タスクに従うことが義務付けられます。 しかし、厳格な服従は処刑中に生じる道徳的義務と矛盾する可能性がある。 本稿では,道徳的に正当化された場合,自律エージェントがユーザ指定タスクから逸脱する能力である「textbf{moral rebellion」について検討する。 1)タスク成果を均等に最大化する「textit{utilitarian agent}」、(2)規範的制約を強制する「textit{deontic}」エージェント、「(3)「textit{utilitarian-deontic}」(UD)エージェント」、(4)「textit{dutiful"エージェント」。 我々はこれらのアーキテクチャを階層的なタスクネットワーク計画フレームワーク内に実装し、割り当てられたタスクの完了、機会的救済、規範順守のトレードオフを明らかにするMini Search-and-Rescueドメインで評価する。 実験の結果,提案エージェントは救助活動,タスク完了,標準順守において,明確なトレードオフを示すことがわかった。 特に、タスクコミットメントの保存は道徳的反乱の重要な次元として現れ、UDと忠実なエージェントは、実用的・非オントロジ的基盤を共有しているにもかかわらず、実質的に異なる行動を生み出している。 これらの知見は, 自律型エージェントの道徳的環境におけるコミットメントに配慮した道徳的推論の重要性を浮き彫りにした。

関連論文リスト

• Why Sampling Is Not Choosing: Intentionality, Agency, and Moral Responsibility in Large Language Models [11.660534590232494]
  我々は、道徳的責任には本質的な意図と自己貢献的な行動に基づくコミットメントを持つ機関が必要であると論じる。 我々は、意図的な姿勢、機能主義、適合主義、そしてモデルアウトプットにおける道徳的推論の存在に対する反論に対処する。
  論文  参考訳（メタデータ） (2026-06-11T15:03:48Z)
• Autonomy and Agency in Agentic AI: Architectural Tactics for Regulated Contexts [1.2031796234206136]
  この研究は、両次元を5つの運用レベルに編成する2次元設計空間を導入する。 自律性は人体操作(L1)から完全自律監視(L5)まで様々である。 我々は、チェックポイント、エスカレーション、マルチエージェントデリゲート、ツールプロビジョニング、ツールフェンシング、書き込みステージングの6つのアーキテクチャ戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-12T13:20:30Z)
• PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
  5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。 PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
  論文  参考訳（メタデータ） (2026-05-12T04:59:47Z)
• Position: agentic AI orchestration should be Bayes-consistent [92.04373485710285]
  本稿では,エージェントシステムのオーケストレーションレベルにおいて,一貫性のある意思決定にはベイズ原理が必要であることを論じる。 信念とユーティリティ対応ポリシーがエージェントAIオーケストレーションをどのように改善するかを説明するための例とデザインパターンを提供する。
  論文  参考訳（メタデータ） (2026-05-01T15:43:43Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)
• Integrating Reason-Based Moral Decision-Making in the Reinforcement Learning Architecture [0.0]
  本研究では,理性に基づく人工道徳エージェント(RBAMA)の開発について検討する。 RBAMAは、音響規範的推論に基づく道徳的意思決定を可能にするため、強化学習アーキテクチャの拡張の上に構築されている。 本研究では, RBAMA の最初の実装について述べるとともに, RBAMA の初期実験における可能性を示す。
  論文  参考訳（メタデータ） (2025-07-20T16:46:16Z)
• Toward a Theory of Agents as Tool-Use Decision-Makers [89.26889709510242]
  真の自律性は、エージェントが、彼らが知っていること、必要なこと、そしてその知識を効率的に獲得する方法を統治する、一貫性のある疫学の枠組みに根ざす必要がある、と我々は主張する。 本研究では,内的推論と外的行動を等価な疫学ツールとして扱う統一理論を提案し,エージェントが内観と相互作用を体系的に調整することを可能にする。 この視点は、エージェントの設計を単なるアクションエグゼクタから知識駆動インテリジェンスシステムにシフトさせ、適応的で効率的でゴール指向の行動が可能な基礎エージェントを構築するための原則化された道筋を提供する。
  論文  参考訳（メタデータ） (2025-06-01T07:52:16Z)
• Emergent Risk Awareness in Rational Agents under Resource Constraints [2.69407449467596]
  この研究は、生存圧力下で活動するAIエージェントの創発的行動の理解と解釈可能性を高めることを目的としている。 我々は、生存駆動の嗜好シフトの影響を定量化する理論的および経験的な結果を提供する。 リスク探索やリスク回避行動の出現を緩和するメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-29T13:31:12Z)
• When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
  大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。 大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。 道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。 本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
  論文  参考訳（メタデータ） (2025-05-25T16:19:24Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• Agentic AI: Autonomy, Accountability, and the Algorithmic Society [0.2209921757303168]
  エージェント人工知能(AI)は、自律的に長期的な目標を追求し、意思決定を行い、複雑なマルチターンを実行することができる。 この指導的役割から積極的執行課題への移行は、法的、経済的、創造的な枠組みを確立した。 我々は,創造性と知的財産,法的・倫理的考察,競争効果の3つの分野における課題を探求する。
  論文  参考訳（メタデータ） (2025-02-01T03:14:59Z)
• Formalizing the Problem of Side Effect Regularization [81.97441214404247]
  本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。 これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。 このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
  論文  参考訳（メタデータ） (2022-06-23T16:36:13Z)
• Reinforcement Learning Under Moral Uncertainty [13.761051314923634]
  機械学習の野心的な目標は、倫理的に振る舞うエージェントを作ることだ。 倫理的エージェントは、特定の道徳理論の下で正しい行動に報いることによって訓練することができるが、道徳性の本質について広く意見の相違がある。 本稿では、競合するデシダラタの異なる点を実現するための2つのトレーニング手法を提案し、モラルの不確実性の下で行動するための単純な環境におけるエージェントを訓練する。
  論文  参考訳（メタデータ） (2020-06-08T16:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。