論文の概要: Anticipatory Thinking Challenges in Open Worlds: Risk Management
- arxiv url: http://arxiv.org/abs/2306.13157v1
- Date: Thu, 22 Jun 2023 18:31:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 14:24:49.401256
- Title: Anticipatory Thinking Challenges in Open Worlds: Risk Management
- Title(参考訳): オープンワールドにおける予測的思考課題--リスクマネジメント
- Authors: Adam Amos-Binks, Dustin Dannenhauer, Leilani H. Gilpin
- Abstract要約: AIシステムが日々の生活の一部になるにつれ、彼らもリスクを管理し始めています。
低周波で高インパクトなリスクを識別し緩和する学習は、機械学習モデルをトレーニングするために必要な観察バイアスと相反する。
私たちのゴールは、オープンワールドと究極的には現実世界のリスクを管理するためにAIエージェントが必要とする予測思考を評価し改善するソリューションの研究を促進することです。
- 参考スコア(独自算出の注目度): 7.820667552233988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Anticipatory thinking drives our ability to manage risk - identification and
mitigation - in everyday life, from bringing an umbrella when it might rain to
buying car insurance. As AI systems become part of everyday life, they too have
begun to manage risk. Autonomous vehicles log millions of miles, StarCraft and
Go agents have similar capabilities to humans, implicitly managing risks
presented by their opponents. To further increase performance in these tasks,
out-of-distribution evaluation can characterize a model's bias, what we view as
a type of risk management. However, learning to identify and mitigate
low-frequency, high-impact risks is at odds with the observational bias
required to train machine learning models. StarCraft and Go are closed-world
domains whose risks are known and mitigations well documented, ideal for
learning through repetition. Adversarial filtering datasets provide difficult
examples but are laborious to curate and static, both barriers to real-world
risk management. Adversarial robustness focuses on model poisoning under the
assumption there is an adversary with malicious intent, without considering
naturally occurring adversarial examples. These methods are all important steps
towards improving risk management but do so without considering open-worlds. We
unify these open-world risk management challenges with two contributions. The
first is our perception challenges, designed for agents with imperfect
perceptions of their environment whose consequences have a high impact. Our
second contribution are cognition challenges, designed for agents that must
dynamically adjust their risk exposure as they identify new risks and learn new
mitigations. Our goal with these challenges is to spur research into solutions
that assess and improve the anticipatory thinking required by AI agents to
manage risk in open-worlds and ultimately the real-world.
- Abstract(参考訳): 予想的思考は、日々の生活の中でリスク - 識別と緩和 - を管理する能力を、自動車保険の購入に雨が降りそうなときに傘を持ってくるように促します。
AIシステムが日々の生活の一部になるにつれ、彼らもリスクを管理し始めています。
自動運転車は数百万マイルをログアウトし、starcraftとgoエージェントは人間と同じような能力を持ち、敵のリスクを暗黙的に管理する。
これらのタスクのパフォーマンスをさらに向上させるために、アウト・オブ・ディストリビューション評価はモデルのバイアスを特徴づけることができる。
しかし、低周波で高インパクトリスクを識別し緩和する学習は、機械学習モデルをトレーニングするために必要な観察バイアスと矛盾する。
starcraftとgoは、リスクが既知のクローズドワールドドメインであり、繰り返しを通じて学ぶのに理想的な緩和策が十分に文書化されている。
逆フィルタリングデータセットは難しい例を提供しているが、キュレーションや静的な処理には苦労している。
敵対的ロバスト性は、悪意のある意図を持つ敵が存在するという仮定の下でのモデル中毒に焦点をあてる。
これらの手法はすべてリスク管理を改善するための重要なステップですが、オープンワールドを考慮せずに実現します。
オープンワールドのリスク管理の課題を2つのコントリビューションで統一します。
ひとつは、影響が大きい環境に対する不完全な認識を持つエージェントのための、私たちの知覚課題です。
第2の貢献は認知の課題であり、新たなリスクを特定して新たな緩和を学ぶ際に、リスク露光を動的に調整する必要があるエージェントのために設計されています。
これらの課題に対する私たちのゴールは、オープンワールドと最終的に現実世界のリスクを管理するためにAIエージェントが必要とする予測思考を評価し改善するソリューションの研究を促進することです。
関連論文リスト
- Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - The Reasoning Under Uncertainty Trap: A Structural AI Risk [0.0]
RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。
この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
論文 参考訳(メタデータ) (2024-01-29T17:16:57Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳(メタデータ) (2023-12-11T18:50:57Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳(メタデータ) (2023-06-21T03:35:06Z) - Three lines of defense against risks from AI [0.0]
AIリスク管理の責任者は必ずしも明確ではない。
3つの防衛ライン(3LoD)モデルは、多くの産業でベストプラクティスと考えられている。
私は、AI企業がモデルを実装できる方法を提案する。
論文 参考訳(メタデータ) (2022-12-16T09:33:00Z) - Actionable Guidance for High-Consequence AI Risk Management: Towards
Standards Addressing AI Catastrophic Risks [12.927021288925099]
人工知能(AI)システムは、社会規模で非常に高い、または破滅的な結果をもたらす事象のリスクを提示することができる。
NISTはAIリスク評価と管理に関する自主的なガイダンスとして、AI RMF(AI Artificial Intelligence Risk Management Framework)を開発している。
我々は、非常に高い、または破滅的な結果のイベントのリスクを特定し、管理することに焦点を当てた、行動可能なガイダンスの詳細な推奨を提供する。
論文 参考訳(メタデータ) (2022-06-17T18:40:41Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳(メタデータ) (2022-05-10T19:40:52Z) - Learning Collective Action under Risk Diversity [68.88688248278102]
集団的リスクジレンマを演じることを学ぶエージェントのグループにおけるリスク多様性の結果について検討する。
リスクの多様性は、全体的な協力を著しく減らし、全体的な目標達成を妨げることを示す。
この結果から,エージェント間のリスク認識の整合性や新たな学習技術開発の必要性が浮き彫りになった。
論文 参考訳(メタデータ) (2022-01-30T18:21:21Z) - Explore and Control with Adversarial Surprise [78.41972292110967]
強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。
本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。
本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
論文 参考訳(メタデータ) (2021-07-12T17:58:40Z) - Towards Risk Modeling for Collaborative AI [5.941104748966331]
コラボレーティブaiシステムは、共通の目標を達成するために、共有空間で人間と協力することを目指している。
この設定は、人間を傷つける可能性のある接触により、潜在的に危険な状況を引き起こす。
協調型AIシステムに合わせたリスクモデリング手法を紹介します。
論文 参考訳(メタデータ) (2021-03-12T18:53:06Z) - Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。
既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。
本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T10:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。