論文の概要: Power-seeking can be probable and predictive for trained agents
- arxiv url: http://arxiv.org/abs/2304.06528v1
- Date: Thu, 13 Apr 2023 13:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 14:27:17.100529
- Title: Power-seeking can be probable and predictive for trained agents
- Title(参考訳): パワーセーキングは訓練されたエージェントにとって予測可能で予測可能である
- Authors: Victoria Krakovna and Janos Kramar
- Abstract要約: パワーセーキング行動は、先進的なAIによるリスクの主な原因である。
トレーニングプロセスがパワーセーキングインセンティブにどのように影響するかを検討する。
電力需要のインセンティブは予測可能であり,予測可能であることを示す。
- 参考スコア(独自算出の注目度): 3.616948583169635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Power-seeking behavior is a key source of risk from advanced AI, but our
theoretical understanding of this phenomenon is relatively limited. Building on
existing theoretical results demonstrating power-seeking incentives for most
reward functions, we investigate how the training process affects power-seeking
incentives and show that they are still likely to hold for trained agents under
some simplifying assumptions. We formally define the training-compatible goal
set (the set of goals consistent with the training rewards) and assume that the
trained agent learns a goal from this set. In a setting where the trained agent
faces a choice to shut down or avoid shutdown in a new situation, we prove that
the agent is likely to avoid shutdown. Thus, we show that power-seeking
incentives can be probable (likely to arise for trained agents) and predictive
(allowing us to predict undesirable behavior in new situations).
- Abstract(参考訳): 電力探究行動は先進的なAIのリスクの主な原因であるが、この現象に関する理論的理解は比較的限られている。
報奨関数のパワーサーキングインセンティブを示す既存の理論的結果に基づいて、トレーニングプロセスがパワーサーキングインセンティブにどのように影響するかを検証し、いくつかの簡易な仮定の下で訓練されたエージェントを保留する可能性が高いことを示す。
我々は、トレーニング互換の目標セット(トレーニング報酬と整合した目標セット)を正式に定義し、トレーニングされたエージェントがこのセットから目標を学習すると仮定する。
訓練されたエージェントが、新しい状況でシャットダウンまたはシャットダウンを避ける選択に直面している場合、エージェントがシャットダウンを避ける可能性が高いことを示す。
したがって, パワー・シーキングのインセンティブは(訓練されたエージェントに対して起こるように)可能であり, 予測可能であること(新たな状況において望ましくない行動を予測できる)を示す。
関連論文リスト
- Emergent Behaviors in Multi-Agent Target Acquisition [0.0]
追従回避ゲームにおける強化学習(RL)を用いたマルチエージェントシステム(MAS)のシミュレーションを行う。
我々は、RL訓練された追跡者のポリシーを2つの異なる(非RL)分析戦略に置き換えることで、異なる敵シナリオを作成する。
このアプローチの斬新さは、基礎となるデータ規則性を明らかにする影響力のある機能セットの作成を伴います。
論文 参考訳(メタデータ) (2022-12-15T15:20:58Z) - Parametrically Retargetable Decision-Makers Tend To Seek Power [91.93765604105025]
完全に観察可能な環境では、ほとんどの報酬関数は、オプションを開いて生き続けることで力を求める最適なポリシーを持つ。
我々は、最適からランダムまで、AI意思決定のモデルから、学習と環境との対話によって得られる選択まで、さまざまなモデルを検討します。
定性的に異なる意思決定手順がエージェントに力を求めるインセンティブを与えることを示す。
論文 参考訳(メタデータ) (2022-06-27T17:39:23Z) - Explore and Control with Adversarial Surprise [78.41972292110967]
強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。
本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。
本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
論文 参考訳(メタデータ) (2021-07-12T17:58:40Z) - Heterogeneous-Agent Trajectory Forecasting Incorporating Class
Uncertainty [54.88405167739227]
本稿では,エージェントのクラス確率を明示的に組み込んだヘテロジニアスエージェント軌道予測手法であるHAICUを提案する。
さらに,新たな挑戦的な実世界の自動運転データセットであるpupも紹介する。
軌道予測にクラス確率を組み込むことで,不確実性に直面した性能が著しく向上することを示す。
論文 参考訳(メタデータ) (2021-04-26T10:28:34Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳(メタデータ) (2020-06-10T20:12:38Z) - Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal
Agent [21.548271801592907]
強化学習者は、高い報酬につながる行動を選択することを学ぶエージェントである。
エージェントが任意の環境において「漸近的に最適」であると保証された場合、真の環境に関する仮定に従うと、エージェントは「破壊される」か「不活性化される」かのいずれかとなる。
我々は,メンティーというエージェントを,無謀な探索ではなく安全な探索をし,メンティーのパフォーマンスに近づくという,控えめな保証をもって提示する。
論文 参考訳(メタデータ) (2020-06-05T10:42:29Z) - Maximizing Information Gain in Partially Observable Environments via
Prediction Reward [64.24528565312463]
本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。
負のエントロピーと予測される予測報酬の正確な誤差を導出する。
この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
論文 参考訳(メタデータ) (2020-05-11T08:13:49Z) - Tactical Decision-Making in Autonomous Driving by Reinforcement Learning
with Uncertainty Estimation [0.9883261192383611]
強化学習は、自律運転のための戦術的意思決定エージェントを作成するために使用できる。
本稿では,自動走行における意思決定の不確かさを推定するためにベイズRL手法をいかに活用するかを検討する。
論文 参考訳(メタデータ) (2020-04-22T08:22:28Z) - Intrinsic Motivation for Encouraging Synergistic Behavior [55.10275467562764]
スパース・リワード・シナジスティック・タスクにおける強化学習の探索バイアスとしての本質的モチベーションの役割について検討した。
私たちのキーとなる考え方は、シナジスティックなタスクにおける本質的なモチベーションのための優れた指針は、エージェントが自分自身で行動している場合、達成できない方法で世界に影響を与える行動を取ることである。
論文 参考訳(メタデータ) (2020-02-12T19:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。