論文の概要: Intelligence and Unambitiousness Using Algorithmic Information Theory

• arxiv url: http://arxiv.org/abs/2105.06268v1
• Date: Thu, 13 May 2021 13:10:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 19:30:00.169065
• Title: Intelligence and Unambitiousness Using Algorithmic Information Theory
• Title（参考訳）: アルゴリズム情報理論を用いた知性と曖昧性
• Authors: Michael K. Cohen, Badri Vellambi, Marcus Hutter
• Abstract要約: エージェントは、少なくとも人間のメンターと同様に報酬を得られることを学習し、そのメンターを低い確率で頼りにすることを示します。 我々は、最終的にエージェントの世界モデルは以下の事実を組み込んでいることを示している: 「外界」に介入することは報酬獲得に何の影響も与えない。
• 参考スコア（独自算出の注目度）: 22.710015392064083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Algorithmic Information Theory has inspired intractable constructions of general intelligence (AGI), and undiscovered tractable approximations are likely feasible. Reinforcement Learning (RL), the dominant paradigm by which an agent might learn to solve arbitrary solvable problems, gives an agent a dangerous incentive: to gain arbitrary "power" in order to intervene in the provision of their own reward. We review the arguments that generally intelligent algorithmic-information-theoretic reinforcement learners such as Hutter's (2005) AIXI would seek arbitrary power, including over us. Then, using an information-theoretic exploration schedule, and a setup inspired by causal influence theory, we present a variant of AIXI which learns to not seek arbitrary power; we call it "unambitious". We show that our agent learns to accrue reward at least as well as a human mentor, while relying on that mentor with diminishing probability. And given a formal assumption that we probe empirically, we show that eventually, the agent's world-model incorporates the following true fact: intervening in the "outside world" will have no effect on reward acquisition; hence, it has no incentive to shape the outside world.
• Abstract（参考訳）: アルゴリズム情報理論は、一般知能(AGI)の難解な構築にインスピレーションを与え、未発見の抽出可能近似は実現可能である。 強化学習(Reinforcement Learning, RL)は、エージェントが任意の解決可能な問題を解決するために学習する支配的なパラダイムであり、エージェントに危険なインセンティブを与える。 我々は,Hutter (2005) AIXIのような知的アルゴリズム情報理論の強化学習者が,私たちを含む任意の力を求めるという議論を概観する。 そして、情報理論的な探索スケジュールと因果影響理論に触発された設定を用いて、任意の力を求めないように学習するAIXIの変種を提示する。 我々のエージェントは、少なくとも人間のメンターと同様に報酬を得るように学習し、そのメンターを確率を下げて頼りにする。 そして、我々が経験的に探究する正式な仮定を考えると、エージェントの世界モデルには、最終的には次の事実が組み込まれている:「外部の世界」に介入することは、報酬獲得に影響を与えない。

関連論文リスト

• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Efficient Open-world Reinforcement Learning via Knowledge Distillation and Autonomous Rule Discovery [5.680463564655267]
  ルール駆動のディープラーニングエージェント(RDQ)がフレームワークの実装の可能な1つだ。 RDQは,世界との対話において,タスク固有のルールを抽出することに成功した。 実験では,RDQエージェントはベースラインエージェントよりも新規性に非常に耐性があることが示されている。
  論文  参考訳（メタデータ） (2023-11-24T04:12:50Z)
• Flexible Attention-Based Multi-Policy Fusion for Efficient Deep Reinforcement Learning [78.31888150539258]
  強化学習(RL)エージェントは、長い間、人間の学習の効率にアプローチしようとしてきた。 RLにおける以前の研究は、エージェントがサンプル効率を改善するために外部知識ポリシーを取り入れていた。 我々は,複数の知識ポリシーを融合させたRLパラダイムであるKGRL(Knowledge-Grounded RL)について述べる。
  論文  参考訳（メタデータ） (2022-10-07T17:56:57Z)
• Parametrically Retargetable Decision-Makers Tend To Seek Power [91.93765604105025]
  完全に観察可能な環境では、ほとんどの報酬関数は、オプションを開いて生き続けることで力を求める最適なポリシーを持つ。 我々は、最適からランダムまで、AI意思決定のモデルから、学習と環境との対話によって得られる選択まで、さまざまなモデルを検討します。 定性的に異なる意思決定手順がエージェントに力を求めるインセンティブを与えることを示す。
  論文  参考訳（メタデータ） (2022-06-27T17:39:23Z)
• On Avoiding Power-Seeking by Artificial Intelligence [93.9264437334683]
  私たちは、非常にインテリジェントなAIエージェントの振る舞いと人間の関心を協調する方法を知りません。 私は、世界に限られた影響を与え、自律的に力を求めないスマートAIエージェントを構築できるかどうか調査する。
  論文  参考訳（メタデータ） (2022-06-23T16:56:21Z)
• An Algorithmic Theory of Metacognition in Minds and Machines [1.52292571922932]
  強化学習におけるトレードオフをよく理解したメタ認知のアルゴリズム理論を提案する。 深層MACを実装することにより,機械におけるメタ認知の作り方を示す。
  論文  参考訳（メタデータ） (2021-11-05T22:31:09Z)
• Knowledge is reward: Learning optimal exploration by predictive reward cashing [5.279475826661643]
  ベイズ適応問題の本質的な数学的構造を利用して問題を劇的に単純化する。 この単純化の鍵は、クロスバリューという新しい概念から来ている。 これにより、現在の情報状態から予測できる全ての将来の報酬を"キャッシュイン"する、新しいより密度の高い報酬構造が得られる。
  論文  参考訳（メタデータ） (2021-09-17T12:52:24Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Learning Human Rewards by Inferring Their Latent Intelligence Levels in Multi-Agent Games: A Theory-of-Mind Approach with Application to Driving Data [18.750834997334664]
  我々は、人間は有理論的であり、他人の意思決定過程を推論する際に異なる知能レベルを持っていると論じる。 学習中の人間の潜在知能レベルを推論する,新しいマルチエージェント逆強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-07T07:48:31Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。