論文の概要: Adversarial Attacks in Cooperative AI
- arxiv url: http://arxiv.org/abs/2111.14833v1
- Date: Mon, 29 Nov 2021 07:34:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 08:31:27.190582
- Title: Adversarial Attacks in Cooperative AI
- Title(参考訳): 協調AIにおける敵対的攻撃
- Authors: Ted Fujimoto and Arthur Paul Pedersen
- Abstract要約: 多エージェント環境における単エージェント強化学習アルゴリズムは協調の育成には不十分である。
敵機械学習における最近の研究は、モデルは容易に誤った決定を下すことができることを示している。
協調AIは、以前の機械学習研究では研究されなかった新たな弱点を導入する可能性がある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Single-agent reinforcement learning algorithms in a multi-agent environment
are inadequate for fostering cooperation. If intelligent agents are to interact
and work together to solve complex problems, methods that counter
non-cooperative behavior are needed to facilitate the training of multiple
agents. This is the goal of cooperative AI. Recent work in adversarial machine
learning, however, shows that models (e.g., image classifiers) can be easily
deceived into making incorrect decisions. In addition, some past research in
cooperative AI has relied on new notions of representations, like public
beliefs, to accelerate the learning of optimally cooperative behavior. Hence,
cooperative AI might introduce new weaknesses not investigated in previous
machine learning research. In this paper, our contributions include: (1)
arguing that three algorithms inspired by human-like social intelligence
introduce new vulnerabilities, unique to cooperative AI, that adversaries can
exploit, and (2) an experiment showing that simple, adversarial perturbations
on the agents' beliefs can negatively impact performance. This evidence points
to the possibility that formal representations of social behavior are
vulnerable to adversarial attacks.
- Abstract(参考訳): 多エージェント環境における単エージェント強化学習アルゴリズムは協調の育成には不十分である。
インテリジェントエージェントが相互作用し、複雑な問題を解決するために協力するならば、複数のエージェントのトレーニングを促進するためには、非協力的な動作に対抗する方法が必要となる。
これは協力的なAIの目標です。
しかし、近年の敵対的機械学習の研究は、モデル(例えば画像分類器)が容易に誤った決定を下すことができることを示している。
さらに、協調AIにおける過去の研究は、最適な協調行動の学習を促進するために、公的な信念のような新しい表現の概念に依存してきた。
したがって、協調的なAIは、以前の機械学習研究では研究されなかった新たな弱点をもたらす可能性がある。
本稿では,(1)人間のような社会知性にインスパイアされた3つのアルゴリズムが,敵が活用できるAIに特有の新たな脆弱性を導入し,(2)エージェントの信念に対する単純で敵対的な摂動がパフォーマンスに悪影響を及ぼすことを示す実験を含む。
この証拠は、社会的行動の形式的表現が敵の攻撃に弱い可能性を示している。
関連論文リスト
- Responsible Emergent Multi-Agent Behavior [2.9370710299422607]
Responsible AIの最先端技術は、人間の問題はマルチエージェントの問題である、という重要なポイントを無視した。
交通の運転から経済政策の交渉まで、人間の問題解決には複数の個人の行動と動機の相互作用と相互作用が伴う。
この論文は、責任ある創発的マルチエージェント行動の研究を発展させる。
論文 参考訳(メタデータ) (2023-11-02T21:37:32Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z) - Neural Amortized Inference for Nested Multi-agent Reasoning [54.39127942041582]
本研究では,人間のような推論能力と計算限界のギャップを埋める新しい手法を提案する。
提案手法を2つの挑戦的マルチエージェント相互作用領域で評価する。
論文 参考訳(メタデータ) (2023-08-21T22:40:36Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳(メタデータ) (2023-04-30T22:51:31Z) - Artificial Intelligence and Dual Contract [0.0]
本研究は,人工知能(Multi-agent Q-learning)をベースとした,二元主主語問題に対する作業者共用契約モデルにおけるアルゴリズムの挙動について考察する。
AIアルゴリズムは、外部のガイダンスやコミュニケーションなしに、インセンティブに適合した契約を自律的に設計することを学ぶ。
論文 参考訳(メタデータ) (2023-03-22T07:31:44Z) - Attacking Cooperative Multi-Agent Reinforcement Learning by Adversarial
Minority Influence [57.154716042854034]
Adrial Minority Influence (AMI) は実用的なブラックボックス攻撃であり、被害者のパラメータを知らずに起動できる。
AMIは複雑なマルチエージェント相互作用とエージェントの協調的な目標を考えることでも強い。
我々は、実世界のロボット群に対する最初の攻撃と、シミュレーションされた環境における事実上の愚かなエージェントを、全体として最悪のシナリオへと攻撃することに成功した。
論文 参考訳(メタデータ) (2023-02-07T08:54:37Z) - Cooperative Artificial Intelligence [0.0]
我々は,ゲーム理論と人工知能の交わりに関する研究の必要性を論じる。
本稿では,外部エージェントが人工学習者の協調を促進する方法について議論する。
また, 計画エージェントをオフにしても, 結果が一定のゲームにおいて安定であることを示す。
論文 参考訳(メタデータ) (2022-02-20T16:50:37Z) - Deception in Social Learning: A Multi-Agent Reinforcement Learning
Perspective [0.0]
本研究は、問題ステートメントを導入し、重要な概念を定義し、既存の証拠を批判的に評価し、今後の研究で解決すべき課題に対処する。
マルチエージェント強化学習(Multi-Agent Reinforcement Learning)の枠組みの中で、ソーシャルラーニング(Social Learning)は、エージェントが他のエージェントの報酬機能を再形成することを可能にする新しいアルゴリズムのクラスである。
論文 参考訳(メタデータ) (2021-06-09T21:34:11Z) - Adversarial Interaction Attack: Fooling AI to Misinterpret Human
Intentions [46.87576410532481]
現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。
骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。
本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
論文 参考訳(メタデータ) (2021-01-17T16:23:20Z) - Watch-And-Help: A Challenge for Social Perception and Human-AI
Collaboration [116.28433607265573]
我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。
WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。
マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
論文 参考訳(メタデータ) (2020-10-19T21:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。