論文の概要: Mitigating Negative Side Effects via Environment Shaping

• arxiv url: http://arxiv.org/abs/2102.07017v1
• Date: Sat, 13 Feb 2021 22:15:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:28:43.083728
• Title: Mitigating Negative Side Effects via Environment Shaping
• Title（参考訳）: 環境形成による副作用の軽減
• Authors: Sandhya Saisubramanian and Shlomo Zilberstein
• Abstract要約: 非構造環境で作動するエージェントは、しばしば負の副作用(NSE)を引き起こす 本稿では,この問題を解き,理論特性を解析するアルゴリズムを提案する。 提案手法は,エージェントが割り当てられたタスクを完了させる能力に影響を与えずに,nseを効果的に緩和できることを示す。
• 参考スコア（独自算出の注目度）: 27.400267388362654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agents operating in unstructured environments often produce negative side effects (NSE), which are difficult to identify at design time. While the agent can learn to mitigate the side effects from human feedback, such feedback is often expensive and the rate of learning is sensitive to the agent's state representation. We examine how humans can assist an agent, beyond providing feedback, and exploit their broader scope of knowledge to mitigate the impacts of NSE. We formulate this problem as a human-agent team with decoupled objectives. The agent optimizes its assigned task, during which its actions may produce NSE. The human shapes the environment through minor reconfiguration actions so as to mitigate the impacts of the agent's side effects, without affecting the agent's ability to complete its assigned task. We present an algorithm to solve this problem and analyze its theoretical properties. Through experiments with human subjects, we assess the willingness of users to perform minor environment modifications to mitigate the impacts of NSE. Empirical evaluation of our approach shows that the proposed framework can successfully mitigate NSE, without affecting the agent's ability to complete its assigned task.
• Abstract（参考訳）: 非構造化環境で作動するエージェントは、設計時に識別が難しい負の副作用(NSE)を生じることが多い。 エージェントは人間のフィードバックから副作用を軽減することを学ぶことができますが、そのようなフィードバックはしばしば高価であり、学習率はエージェントの状態表現に敏感です。 フィードバックの提供を超えて、人間はエージェントをどのように支援できるかを検討し、NSEの影響を軽減するための幅広い知識を活用します。 私たちはこの問題を、切り離された目的を持った人間エージェントチームとして定式化します。 エージェントは割り当てられたタスクを最適化し、そのアクションがNSEを生成する。 人間は、エージェントが割り当てられたタスクを完了させる能力に影響を与えることなく、エージェントの副作用の影響を軽減するために、小さな再構成アクションを通じて環境を形作る。 本稿では,この問題を解き,理論特性を解析するアルゴリズムを提案する。 被験者との実験を通じて,nseの影響を軽減するために,環境の微調整を行うユーザの意欲を評価する。 提案手法は,エージェントが割り当てられたタスクを完了させる能力に影響を与えずに,nseを効果的に緩和できることを示す。

関連論文リスト

• Counterfactual Effect Decomposition in Multi-Agent Sequential Decision Making [9.469649321687928]
  本稿では,各エージェントに寄与し,各エージェントに寄与し,各要因に寄与するスコアを変動させることにより,その効果を分解する新たな因果的説明式を提案する。 エージェントの作用の総合的反事実効果は, エージェントの作用を伝播する効果を計測する要素と, 状態遷移を伝播する効果に関連する要素の2つに分解できることを示す。
  論文  参考訳（メタデータ） (2024-10-16T13:20:35Z)
• Caution for the Environment: Multimodal Agents are Susceptible to Environmental Distractions [68.92637077909693]
  本稿では,グラフィカルユーザインタフェース(GUI)環境におけるマルチモーダル大規模言語モデル(MLLM)エージェントの忠実さについて検討する。 ユーザとエージェントの両方が良性であり、環境は悪質ではないが、無関係なコンテンツを含む、一般的な設定が提案されている。 実験結果から、ジェネラリストエージェントや専門的なGUIエージェントなど、最も強力なモデルでさえ、気晴らしの影響を受けやすいことが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-05T15:16:22Z)
• Improving Zero-Shot ObjectNav with Generative Communication [60.84730028539513]
  ゼロショットObjectNavの改良手法を提案する。 私たちのアプローチは、接地エージェントが制限され、時には障害のあるビューを持つ可能性があることを考慮に入れています。
  論文  参考訳（メタデータ） (2024-08-03T22:55:26Z)
• External Model Motivated Agents: Reinforcement Learning for Enhanced Environment Sampling [3.536024441537599]
  強化学習(RL)エージェントとは異なり、人間は環境の変化において有能なマルチタスクのままである。 環境変化における外部モデルの適応効率を向上させるために,RLエージェントのエージェント影響フレームワークを提案する。 提案手法は,効率と性能の両面を測る指標に対する外部モデル適応の観点から,ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-28T23:31:22Z)
• Learning Actionable Counterfactual Explanations in Large State Spaces [16.30292272064278]
  最適CFEが重み付き被覆問題の解に対応するような設定を考える。 本研究では,実験により高い性能が得られることを示す深層ネットワーク学習手法を提案する。 我々の問題は、大規模だが決定論的マルコフ決定過程の族において最適な政策を学ぶことの1つと見なすこともできる。
  論文  参考訳（メタデータ） (2024-04-25T20:49:03Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Feedback Effect in User Interaction with Intelligent Assistants: Delayed Engagement, Adaption and Drop-out [9.205174767678365]
  本稿では,IA-ユーザインタラクションにおける新たなコンポーネントであるフィードバック効果の同定と定量化を行う。 IAからの不快な反応は、ユーザがその後の対話を遅らせたり遅らせる原因となることを示す。 ユーザがIAの理解と機能能力の限界を発見すると、ユーザは要求のスコープとワードの調整を学ぶ。
  論文  参考訳（メタデータ） (2023-03-17T21:39:33Z)
• Formalizing the Problem of Side Effect Regularization [81.97441214404247]
  本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。 これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。 このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
  論文  参考訳（メタデータ） (2022-06-23T16:36:13Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• On the Sensory Commutativity of Action Sequences for Embodied Agents [2.320417845168326]
  群論の数学的形式論に基づくエンボディエージェントの知覚について検討する。 本稿では,エージェントの自由度が環境に与える影響を計測する感覚コミュニケーション確率基準を提案する。 本研究では,SCPと行動系列の可換性を用いて環境中の物体を学習する方法を実証的に説明する。
  論文  参考訳（メタデータ） (2020-02-13T16:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。