Fugu-MT 論文翻訳(概要): "You just can't go around killing people" Explaining Agent Behavior to a Human Terminator

論文の概要: "You just can't go around killing people" Explaining Agent Behavior to a Human Terminator

arxiv url: http://arxiv.org/abs/2504.04592v1
Date: Sun, 06 Apr 2025 19:29:45 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-08 14:10:04.329048
Title: "You just can't go around killing people" Explaining Agent Behavior to a Human Terminator
Title（参考訳）: 人殺しはできない」 : エージェント行動の説明
Authors: Uri Menkes, Assaf Hallak, Ofra Amir,
Abstract要約: 人間の介入数を最適化するための説明可能性スキームを提案する。本稿では、この設定を形式化し、人間の介入数を最適化するための説明可能性スキームを提案する。
参考スコア（独自算出の注目度）: 7.7559527224629266
License:
Abstract: Consider a setting where a pre-trained agent is operating in an environment and a human operator can decide to temporarily terminate its operation and take-over for some duration of time. These kind of scenarios are common in human-machine interactions, for example in autonomous driving, factory automation and healthcare. In these settings, we typically observe a trade-off between two extreme cases -- if no take-overs are allowed, then the agent might employ a sub-optimal, possibly dangerous policy. Alternatively, if there are too many take-overs, then the human has no confidence in the agent, greatly limiting its usefulness. In this paper, we formalize this setup and propose an explainability scheme to help optimize the number of human interventions.
Abstract（参考訳）: 事前訓練されたエージェントが環境下で動作しており、人間のオペレータが一時的にその動作を停止し、一定期間の乗っ取りを決定できる設定を考えてみましょう。この種のシナリオは、例えば自動運転、工場の自動化、ヘルスケアなど、人間と機械の相互作用に共通している。これらの設定では、通常、2つの極端なケース間のトレードオフを観察します。あるいは、テイクオーバーが多すぎる場合、人間はエージェントに自信を持たず、その有用性を大幅に制限する。本稿では、この設定を形式化し、人間の介入数を最適化するための説明可能性スキームを提案する。

関連論文リスト

When Trust is Zero Sum: Automation Threat to Epistemic Agency [15.3187914835649]
労働者が仕事を維持している場合であっても、その内部の代理店は格段に格下げされる可能性がある。人間の従業員と一緒に働くアルゴリズムを設計するなど、仕事の維持にフォーカスしたソリューションは、これらの害を和らげるだけである。
論文参考訳（メタデータ） (2024-08-16T17:10:19Z)
Human-compatible driving partners through data-regularized self-play reinforcement learning [3.9682126792844583]
HR-PPO(Human-Regularized PPO)は、エージェントが人間の参照ポリシーから逸脱する小さなペナルティで自己プレイを通じて訓練されるマルチエージェントアルゴリズムである。その結果,HR-PPOは93%,オフロード率3.5%,衝突率3%の目標達成に極めて有効であることがわかった。
論文参考訳（メタデータ） (2024-03-28T17:56:56Z)
Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。我々の枠組みは、人間の手の動きを予測することに基づいている。トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文参考訳（メタデータ） (2023-02-03T21:39:52Z)
When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning [57.53138994155612]
強化学習の長期的な目標は、世界で自律的に対話し学習できるエージェントを設計することである。重要な課題は、ロボットアームが物体をテーブルから押し出したときなど、外部からの援助を必要とする不可逆状態の存在である。本研究では,非可逆状態の検出と回避を効率よく学習し,エージェントが侵入した場合に積極的に支援を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-10-19T17:57:24Z)
Robust Planning for Human-Robot Joint Tasks with Explicit Reasoning on Human Mental State [2.8246074016493457]
我々は,人間ロボットチームが達成するための既知の目的を持った共有タスクを与えられる,人間に意識したタスク計画問題を考える。近年のアプローチでは、ロボットが両方のエージェント(共有された)タスクを計画する独立した合理的エージェントのチームとしてそれをモデル化している。本稿では,実行時の可観測性規約をモデル化し,使用するための新しいアプローチについて述べる。
論文参考訳（メタデータ） (2022-10-17T09:21:00Z)
Safe adaptation in multiagent competition [48.02377041620857]
マルチエージェントの競争シナリオでは、エゴエージェントは前例のない振る舞いを持つ新しい相手に適応しなければならない。エゴエージェントは、相手を悪用するために自身の行動を更新するので、その行動はより悪用される可能性がある。我々は,エゴエージェントを正規化相手モデルに対してトレーニングする安全な適応手法を開発する。
論文参考訳（メタデータ） (2022-03-14T23:53:59Z)
Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
論文参考訳（メタデータ） (2022-01-29T00:52:37Z)
The Concept of Criticality in AI Safety [8.442084903594528]
AIエージェントが行動と人間の価値観を一致させなければ、深刻な害を引き起こす可能性がある。バリューアライメント問題を解決する方法の1つは、エージェントのすべてのアクションを監視する人間のオペレータを含めることである。我々は、オペレータが監視タスクを無視することなく、他のアクティビティに関わることができる、より効率的なソリューションを提案する。
論文参考訳（メタデータ） (2022-01-12T17:44:22Z)
Balancing Performance and Human Autonomy with Implicit Guidance Agent [8.071506311915396]
暗黙のガイダンスは、人間が計画の改善と自律性維持のバランスを維持するために有効であることを示す。我々は、ベイズ的思考理論を既存の協調計画アルゴリズムに統合することにより、暗黙のガイダンスを持つ協調エージェントをモデル化した。
論文参考訳（メタデータ） (2021-09-01T14:47:29Z)
Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文参考訳（メタデータ） (2020-06-22T10:48:17Z)
A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。まず、ツールがデプロイされたときに人間が行動を変えることを示します。表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文参考訳（メタデータ） (2020-02-19T07:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。