論文の概要: Adversarial Attacks in Cooperative AI

• arxiv url: http://arxiv.org/abs/2111.14833v1
• Date: Mon, 29 Nov 2021 07:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 08:31:27.190582
• Title: Adversarial Attacks in Cooperative AI
• Title（参考訳）: 協調AIにおける敵対的攻撃
• Authors: Ted Fujimoto and Arthur Paul Pedersen
• Abstract要約: 多エージェント環境における単エージェント強化学習アルゴリズムは協調の育成には不十分である。 敵機械学習における最近の研究は、モデルは容易に誤った決定を下すことができることを示している。 協調AIは、以前の機械学習研究では研究されなかった新たな弱点を導入する可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Single-agent reinforcement learning algorithms in a multi-agent environment are inadequate for fostering cooperation. If intelligent agents are to interact and work together to solve complex problems, methods that counter non-cooperative behavior are needed to facilitate the training of multiple agents. This is the goal of cooperative AI. Recent work in adversarial machine learning, however, shows that models (e.g., image classifiers) can be easily deceived into making incorrect decisions. In addition, some past research in cooperative AI has relied on new notions of representations, like public beliefs, to accelerate the learning of optimally cooperative behavior. Hence, cooperative AI might introduce new weaknesses not investigated in previous machine learning research. In this paper, our contributions include: (1) arguing that three algorithms inspired by human-like social intelligence introduce new vulnerabilities, unique to cooperative AI, that adversaries can exploit, and (2) an experiment showing that simple, adversarial perturbations on the agents' beliefs can negatively impact performance. This evidence points to the possibility that formal representations of social behavior are vulnerable to adversarial attacks.
• Abstract（参考訳）: 多エージェント環境における単エージェント強化学習アルゴリズムは協調の育成には不十分である。 インテリジェントエージェントが相互作用し、複雑な問題を解決するために協力するならば、複数のエージェントのトレーニングを促進するためには、非協力的な動作に対抗する方法が必要となる。 これは協力的なAIの目標です。 しかし、近年の敵対的機械学習の研究は、モデル(例えば画像分類器)が容易に誤った決定を下すことができることを示している。 さらに、協調AIにおける過去の研究は、最適な協調行動の学習を促進するために、公的な信念のような新しい表現の概念に依存してきた。 したがって、協調的なAIは、以前の機械学習研究では研究されなかった新たな弱点をもたらす可能性がある。 本稿では,(1)人間のような社会知性にインスパイアされた3つのアルゴリズムが,敵が活用できるAIに特有の新たな脆弱性を導入し,(2)エージェントの信念に対する単純で敵対的な摂動がパフォーマンスに悪影響を及ぼすことを示す実験を含む。 この証拠は、社会的行動の形式的表現が敵の攻撃に弱い可能性を示している。

関連論文リスト

• Incremental procedural and sensorimotor learning in cognitive humanoid robots [52.77024349608834]
  本研究は,手順を段階的に学習する認知エージェントを提案する。 各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。 結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
  論文  参考訳（メタデータ） (2023-04-30T22:51:31Z)
• Artificial Intelligence and Dual Contract [0.0]
  本研究は,人工知能(Multi-agent Q-learning)をベースとした,二元主主語問題に対する作業者共用契約モデルにおけるアルゴリズムの挙動について考察する。 AIアルゴリズムは、外部のガイダンスやコミュニケーションなしに、インセンティブに適合した契約を自律的に設計することを学ぶ。
  論文  参考訳（メタデータ） (2023-03-22T07:31:44Z)
• Cooperative Artificial Intelligence [0.0]
  我々は,ゲーム理論と人工知能の交わりに関する研究の必要性を論じる。 本稿では,外部エージェントが人工学習者の協調を促進する方法について議論する。 また, 計画エージェントをオフにしても, 結果が一定のゲームにおいて安定であることを示す。
  論文  参考訳（メタデータ） (2022-02-20T16:50:37Z)
• Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination [0.4153433779716327]
  我々は、協調型AIを評価するための代替基準を定式化し、この基準を「アルゴリズム間クロスプレイ(inter-algorithm cross-play)」と呼ぶ。 このパラダイムでは,Other-Play や Off-Belief Learning といった,最先端の協調型AIアルゴリズムが低性能であることを示す。 本稿では,Any-Play学習のアルゴリズムをアルゴリズム間クロスプレイ設定に一般化するために,Any-Play学習の拡張を提案する。
  論文  参考訳（メタデータ） (2022-01-28T21:43:58Z)
• Hidden Agenda: a Social Deduction Game with Diverse Learned Equilibria [57.74495091445414]
  社会的推論ゲームは、個人が他人に関する潜在的に信頼できない情報を合成する方法を学ぶための道を提供する。 本研究では,未知のチームアライメントのシナリオにおいて,学習エージェントを研究するための2D環境を提供する2チームソーシャル推論ゲームであるHidden Agendaを紹介する。 Hidden Agendaで訓練された強化学習エージェントは、自然言語でのコミュニケーションを必要とせずに、協力や投票など、さまざまな行動を学ぶことができることを示した。
  論文  参考訳（メタデータ） (2022-01-05T20:54:10Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Deception in Social Learning: A Multi-Agent Reinforcement Learning Perspective [0.0]
  本研究は、問題ステートメントを導入し、重要な概念を定義し、既存の証拠を批判的に評価し、今後の研究で解決すべき課題に対処する。 マルチエージェント強化学習(Multi-Agent Reinforcement Learning)の枠組みの中で、ソーシャルラーニング(Social Learning)は、エージェントが他のエージェントの報酬機能を再形成することを可能にする新しいアルゴリズムのクラスである。
  論文  参考訳（メタデータ） (2021-06-09T21:34:11Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)
• Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration [116.28433607265573]
  我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。 WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。 マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-10-19T21:48:31Z)
• Emergent Social Learning via Multi-agent Reinforcement Learning [91.57176641192771]
  社会学習は、人間と動物の知性の重要な構成要素である。 本稿では,独立系強化学習エージェントが,社会的学習を用いてパフォーマンスを向上させることを学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2020-10-01T17:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。