論文の概要: Adversarial Attacks in Cooperative AI

• arxiv url: http://arxiv.org/abs/2111.14833v1
• Date: Mon, 29 Nov 2021 07:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 08:31:27.190582
• Title: Adversarial Attacks in Cooperative AI
• Title（参考訳）: 協調AIにおける敵対的攻撃
• Authors: Ted Fujimoto and Arthur Paul Pedersen
• Abstract要約: 多エージェント環境における単エージェント強化学習アルゴリズムは協調の育成には不十分である。 敵機械学習における最近の研究は、モデルは容易に誤った決定を下すことができることを示している。 協調AIは、以前の機械学習研究では研究されなかった新たな弱点を導入する可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Single-agent reinforcement learning algorithms in a multi-agent environment are inadequate for fostering cooperation. If intelligent agents are to interact and work together to solve complex problems, methods that counter non-cooperative behavior are needed to facilitate the training of multiple agents. This is the goal of cooperative AI. Recent work in adversarial machine learning, however, shows that models (e.g., image classifiers) can be easily deceived into making incorrect decisions. In addition, some past research in cooperative AI has relied on new notions of representations, like public beliefs, to accelerate the learning of optimally cooperative behavior. Hence, cooperative AI might introduce new weaknesses not investigated in previous machine learning research. In this paper, our contributions include: (1) arguing that three algorithms inspired by human-like social intelligence introduce new vulnerabilities, unique to cooperative AI, that adversaries can exploit, and (2) an experiment showing that simple, adversarial perturbations on the agents' beliefs can negatively impact performance. This evidence points to the possibility that formal representations of social behavior are vulnerable to adversarial attacks.
• Abstract（参考訳）: 多エージェント環境における単エージェント強化学習アルゴリズムは協調の育成には不十分である。 インテリジェントエージェントが相互作用し、複雑な問題を解決するために協力するならば、複数のエージェントのトレーニングを促進するためには、非協力的な動作に対抗する方法が必要となる。 これは協力的なAIの目標です。 しかし、近年の敵対的機械学習の研究は、モデル(例えば画像分類器)が容易に誤った決定を下すことができることを示している。 さらに、協調AIにおける過去の研究は、最適な協調行動の学習を促進するために、公的な信念のような新しい表現の概念に依存してきた。 したがって、協調的なAIは、以前の機械学習研究では研究されなかった新たな弱点をもたらす可能性がある。 本稿では,(1)人間のような社会知性にインスパイアされた3つのアルゴリズムが,敵が活用できるAIに特有の新たな脆弱性を導入し,(2)エージェントの信念に対する単純で敵対的な摂動がパフォーマンスに悪影響を及ぼすことを示す実験を含む。 この証拠は、社会的行動の形式的表現が敵の攻撃に弱い可能性を示している。

関連論文リスト

• Let people fail! Exploring the influence of explainable virtual and robotic agents in learning-by-doing tasks [45.23431596135002]
  本研究は,古典的対パートナー意識による説明が学習作業中の人間の行動とパフォーマンスに与える影響を比較検討した。 その結果, パートナー意識による説明は, 関係する人工エージェントの種類によって, 参加者に異なる影響を及ぼした。
  論文  参考訳（メタデータ） (2024-11-15T13:22:04Z)
• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Multi-agent cooperation through learning-aware policy gradients [53.63948041506278]
  利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。 本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。 我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
  論文  参考訳（メタデータ） (2024-10-24T10:48:42Z)
• Reciprocal Reward Influence Encourages Cooperation From Self-Interested Agents [2.1301560294088318]
  自己関心の個人間の協力は、自然界で広く見られる現象であるが、人工的な知的エージェント間の相互作用においては、いまだ解明されていない。 そこで,本研究では,リターンに対する相手の行動の影響を再現するために,本質的に動機づけられた強化学習エージェントであるReciprocatorを紹介する。 本研究では,同時学習において,時間的に拡張された社会的ジレンマにおける協調を促進するために,共用者が利用できることを示す。
  論文  参考訳（メタデータ） (2024-06-03T06:07:27Z)
• Responsible Emergent Multi-Agent Behavior [2.9370710299422607]
  Responsible AIの最先端技術は、人間の問題はマルチエージェントの問題である、という重要なポイントを無視した。 交通の運転から経済政策の交渉まで、人間の問題解決には複数の個人の行動と動機の相互作用と相互作用が伴う。 この論文は、責任ある創発的マルチエージェント行動の研究を発展させる。
  論文  参考訳（メタデータ） (2023-11-02T21:37:32Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Neural Amortized Inference for Nested Multi-agent Reasoning [54.39127942041582]
  本研究では,人間のような推論能力と計算限界のギャップを埋める新しい手法を提案する。 提案手法を2つの挑戦的マルチエージェント相互作用領域で評価する。
  論文  参考訳（メタデータ） (2023-08-21T22:40:36Z)
• Incremental procedural and sensorimotor learning in cognitive humanoid robots [52.77024349608834]
  本研究は,手順を段階的に学習する認知エージェントを提案する。 各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。 結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
  論文  参考訳（メタデータ） (2023-04-30T22:51:31Z)
• Cooperative Artificial Intelligence [0.0]
  我々は,ゲーム理論と人工知能の交わりに関する研究の必要性を論じる。 本稿では,外部エージェントが人工学習者の協調を促進する方法について議論する。 また, 計画エージェントをオフにしても, 結果が一定のゲームにおいて安定であることを示す。
  論文  参考訳（メタデータ） (2022-02-20T16:50:37Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。