論文の概要: The Problem of Social Cost in Multi-Agent General Reinforcement Learning: Survey and Synthesis

• arxiv url: http://arxiv.org/abs/2412.02091v1
• Date: Tue, 03 Dec 2024 02:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:40.554902
• Title: The Problem of Social Cost in Multi-Agent General Reinforcement Learning: Survey and Synthesis
• Title（参考訳）: 多分野総合強化学習における社会的コストの問題:調査と合成
• Authors: Kee Siong Ng, Samuel Yang-Zhao, Timothy Cadogan-Cowper,
• Abstract要約: マルチエージェント環境における学習エージェントとユーティリティ最大化エージェントの行動から生じる社会的害の問題を考察する。 このような社会的損害のコストを定量化し、制御するための市場ベースメカニズムを提案する。
• 参考スコア（独自算出の注目度）: 4.813333335683418
• License:
• Abstract: The AI safety literature is full of examples of powerful AI agents that, in blindly pursuing a specific and usually narrow objective, ends up with unacceptable and even catastrophic collateral damage to others. In this paper, we consider the problem of social harms that can result from actions taken by learning and utility-maximising agents in a multi-agent environment. The problem of measuring social harms or impacts in such multi-agent settings, especially when the agents are artificial generally intelligent (AGI) agents, was listed as an open problem in Everitt et al, 2018. We attempt a partial answer to that open problem in the form of market-based mechanisms to quantify and control the cost of such social harms. The proposed setup captures many well-studied special cases and is more general than existing formulations of multi-agent reinforcement learning with mechanism design in two ways: (i) the underlying environment is a history-based general reinforcement learning environment like in AIXI; (ii) the reinforcement-learning agents participating in the environment can have different learning strategies and planning horizons. To demonstrate the practicality of the proposed setup, we survey some key classes of learning algorithms and present a few applications, including a discussion of the Paperclips problem and pollution control with a cap-and-trade system.
• Abstract（参考訳）: AIの安全性に関する文献は、特定の、通常は狭い目的を盲目的に追求する強力なAIエージェントの例に満ちています。 本稿では,マルチエージェント環境における学習エージェントとユーティリティ最大化エージェントの行動から生じる社会的害の問題を考察する。 この種のマルチエージェント設定における社会的害や影響を測定する問題は、特にエージェントが人工知能(AGI)エージェントである場合、2018年にEverittらによってオープンな問題としてリストされた。 我々は、そのような社会的害のコストを定量化し、制御する市場ベースのメカニズムの形で、そのオープンな問題に対する部分的な回答を試みます。 提案手法は, 既成の多エージェント強化学習法よりも, 機構設計の2つの方法により, より汎用性の高い特殊事例を抽出する。 i) 基礎となる環境は, AIXIのような歴史に基づく総合強化学習環境である。 二 環境に参画する強化学習エージェントは、異なる学習戦略と計画的地平を持つことができる。 提案手法の実用性を実証するため,いくつかの学習アルゴリズムの重要クラスを調査し,Paperclips問題に関する議論や,キャップ・アンド・トレードシステムによる汚染制御など,いくつかの応用を提示する。

関連論文リスト

• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic Systems [67.01132165581667]
  本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。 本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
  論文  参考訳（メタデータ） (2023-11-13T21:20:17Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning [18.918558716102144]
  我々は、大規模人口システムを理解し分析するための現在のアプローチに光を当てる。 我々は,大規模制御の応用の可能性を調査し,実践システムにおける学習アルゴリズムの有能な将来的応用について検討する。
  論文  参考訳（メタデータ） (2022-09-08T14:58:50Z)
• Robust Reinforcement Learning via Genetic Curriculum [5.421464476555662]
  遺伝的カリキュラムは、エージェントが現在失敗しているシナリオを自動的に識別し、関連するカリキュラムを生成するアルゴリズムである。 我々の実証研究は、既存の技術アルゴリズムよりも堅牢性の向上を示し、2倍から8倍のエージェントが失敗する確率の低いトレーニングカリキュラムを提供する。
  論文  参考訳（メタデータ） (2022-02-17T01:14:20Z)
• Q-Mixing Network for Multi-Agent Pathfinding in Partially Observable Grid Environments [62.997667081978825]
  部分的に観測可能なグリッド環境におけるマルチエージェントナビゲーションの問題点を考察する。 エージェントがまず、観察を行動にマッピングする方針を学習し、その目的を達成するためにこれらの方針に従うとき、強化学習アプローチを活用することを提案する。
  論文  参考訳（メタデータ） (2021-08-13T09:44:47Z)
• Robust Risk-Sensitive Reinforcement Learning Agents for Trading Markets [23.224860573461818]
  トレーディングマーケットは、強化学習エージェントを展開するための現実世界の金融アプリケーションである。 リスクに敏感なペイオフを考慮したマルチエージェント学習のための経験的ゲーム理論解析を拡張した最初の研究である。
  論文  参考訳（メタデータ） (2021-07-16T19:15:13Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Heterogeneous Multi-Agent Reinforcement Learning for Unknown Environment Mapping [0.0]
  異種エージェントのチームが未知の環境をカバーするための分散制御ポリシーを学習できるようにするアクター批判アルゴリズムを提案する。 このタスクは、無人航空機のチームを配置することで危険地域における状況認識を高めたい国家の安全と緊急対応組織に関心を寄せている。
  論文  参考訳（メタデータ） (2020-10-06T12:23:05Z)
• Ubiquitous Distributed Deep Reinforcement Learning at the Edge: Analyzing Byzantine Agents in Discrete Action Spaces [0.06554326244334865]
  本稿では,ビザンチンや誤作動剤の存在下で発生する多エージェント分散深層強化学習の課題について論じる。 個別行動の誤りが協調学習活動にどのように影響するかを示す。 分散マルチエージェントトレーニングにおけるアクター・クリティカル(A2C)を活かしたAtariテストベッドを用いたシミュレーション環境で実験を行った。
  論文  参考訳（メタデータ） (2020-08-18T11:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。