論文の概要: Avoiding Negative Side Effects due to Incomplete Knowledge of AI Systems

• arxiv url: http://arxiv.org/abs/2008.12146v3
• Date: Mon, 18 Oct 2021 18:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 12:27:22.504382
• Title: Avoiding Negative Side Effects due to Incomplete Knowledge of AI Systems
• Title（参考訳）: AIシステムの不完全知識による否定的副作用の回避
• Authors: Sandhya Saisubramanian and Shlomo Zilberstein and Ece Kamar
• Abstract要約: エージェントの行動の負の副作用を認識して回避する学習は、自律システムの安全性と信頼性を向上させるために重要である。 ネガティブな副作用の緩和は、AIシステムの展開が急速に増加しているために注目が集まっている、新たな研究トピックである。 本稿は、様々な形態の負の副作用と、それらに対処する最近の研究成果について概説する。
• 参考スコア（独自算出の注目度）: 35.763408055286355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous agents acting in the real-world often operate based on models that ignore certain aspects of the environment. The incompleteness of any given model -- handcrafted or machine acquired -- is inevitable due to practical limitations of any modeling technique for complex real-world settings. Due to the limited fidelity of its model, an agent's actions may have unexpected, undesirable consequences during execution. Learning to recognize and avoid such negative side effects of an agent's actions is critical to improve the safety and reliability of autonomous systems. Mitigating negative side effects is an emerging research topic that is attracting increased attention due to the rapid growth in the deployment of AI systems and their broad societal impacts. This article provides a comprehensive overview of different forms of negative side effects and the recent research efforts to address them. We identify key characteristics of negative side effects, highlight the challenges in avoiding negative side effects, and discuss recently developed approaches, contrasting their benefits and limitations. The article concludes with a discussion of open questions and suggestions for future research directions.
• Abstract（参考訳）: 現実世界で行動する自律エージェントは、しばしば環境の特定の側面を無視するモデルに基づいて動作します。 複雑な現実世界の設定のためのモデリングテクニックの実践的な制限のため、任意のモデル(手作りまたはマシンが取得した)の不完全性は避けられない。 そのモデルの忠実さが限られているため、エージェントのアクションは実行中に予期せぬ、望ましくない結果をもたらす可能性がある。 エージェントの行動によるこのようなネガティブな副作用を認識し回避する学習は、自律システムの安全性と信頼性を向上させるために不可欠である。 ネガティブな副作用の軽減は、aiシステムのデプロイの急速な成長と、その広範な社会的影響によって、注目を集めている新たな研究テーマである。 本稿は、様々な形態の負の副作用と、それらに対処する最近の研究成果について概説する。 否定的な副作用の重要な特徴を特定し,否定的な副作用を避けるための課題を強調し,その利点と限界を対比して最近開発されたアプローチについて議論する。 この記事は、今後の研究方向性に関するオープン質問と提案に関する議論で締めくくられている。

関連論文リスト

• Generative Intervention Models for Causal Perturbation Modeling [80.72074987374141]
  多くの応用において、システムのメカニズムが外部の摂動によって変更されるかは未定である。 本稿では、これらの摂動特徴を原子間干渉による分布にマッピングする方法を学習する生成的介入モデル(GIM)を提案する。
  論文  参考訳（メタデータ） (2024-11-21T10:37:57Z)
• Synthetic Image Generation in Cyber Influence Operations: An Emergent Threat? [0.0]
  本報告では, 合成画像の作成において, 拡散モデルなどの生成的深層学習モデルの可能性と限界について検討する。 我々は、これらのツールのアクセシビリティ、実用性、出力品質と、それらが詐欺、影響、転倒の脅威シナリオに与える影響を批判的に評価する。 我々は、脅威アクターに対するこれらのAI駆動手法の現在の能力と限界を実証するために、いくつかの仮説的サイバー影響操作のためのコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-03-18T19:44:30Z)
• The Social Impact of Generative AI: An Analysis on ChatGPT [0.7401425472034117]
  ジェネレーティブAIモデルの急速な開発は、そのメリット、制限、関連するリスクに関する熱い議論を引き起こしている。 生成モデルは、医療、金融、教育など、複数の分野にまたがって大きな可能性を秘めている。 本稿では,ChatGPTの事例を中心に,生成型AIツールの社会的意味を探求する方法論を採用する。
  論文  参考訳（メタデータ） (2024-03-07T17:14:22Z)
• Predictability and Surprise in Large Generative Models [8.055204456718576]
  大規模プレトレーニングは、有能で汎用的な生成モデルを作成するための技術として登場した。 本稿では,そのようなモデルの直観的特性を強調し,この特性の政策的含意について論じる。
  論文  参考訳（メタデータ） (2022-02-15T23:21:23Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Challenges for Using Impact Regularizers to Avoid Negative Side Effects [74.67972013102462]
  我々は、影響レギュレータの主な課題について論じ、それらを基本的な設計決定に関連付ける。 我々は、影響正則化器による負の副作用の防止における未解決課題を克服するための有望な方向を探究する。
  論文  参考訳（メタデータ） (2021-01-29T10:32:51Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。