論文の概要: Anticipatory Thinking Challenges in Open Worlds: Risk Management

• arxiv url: http://arxiv.org/abs/2306.13157v1
• Date: Thu, 22 Jun 2023 18:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 14:24:49.401256
• Title: Anticipatory Thinking Challenges in Open Worlds: Risk Management
• Title（参考訳）: オープンワールドにおける予測的思考課題--リスクマネジメント
• Authors: Adam Amos-Binks, Dustin Dannenhauer, Leilani H. Gilpin
• Abstract要約: AIシステムが日々の生活の一部になるにつれ、彼らもリスクを管理し始めています。 低周波で高インパクトなリスクを識別し緩和する学習は、機械学習モデルをトレーニングするために必要な観察バイアスと相反する。 私たちのゴールは、オープンワールドと究極的には現実世界のリスクを管理するためにAIエージェントが必要とする予測思考を評価し改善するソリューションの研究を促進することです。
• 参考スコア（独自算出の注目度）: 7.820667552233988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Anticipatory thinking drives our ability to manage risk - identification and mitigation - in everyday life, from bringing an umbrella when it might rain to buying car insurance. As AI systems become part of everyday life, they too have begun to manage risk. Autonomous vehicles log millions of miles, StarCraft and Go agents have similar capabilities to humans, implicitly managing risks presented by their opponents. To further increase performance in these tasks, out-of-distribution evaluation can characterize a model's bias, what we view as a type of risk management. However, learning to identify and mitigate low-frequency, high-impact risks is at odds with the observational bias required to train machine learning models. StarCraft and Go are closed-world domains whose risks are known and mitigations well documented, ideal for learning through repetition. Adversarial filtering datasets provide difficult examples but are laborious to curate and static, both barriers to real-world risk management. Adversarial robustness focuses on model poisoning under the assumption there is an adversary with malicious intent, without considering naturally occurring adversarial examples. These methods are all important steps towards improving risk management but do so without considering open-worlds. We unify these open-world risk management challenges with two contributions. The first is our perception challenges, designed for agents with imperfect perceptions of their environment whose consequences have a high impact. Our second contribution are cognition challenges, designed for agents that must dynamically adjust their risk exposure as they identify new risks and learn new mitigations. Our goal with these challenges is to spur research into solutions that assess and improve the anticipatory thinking required by AI agents to manage risk in open-worlds and ultimately the real-world.
• Abstract（参考訳）: 予想的思考は、日々の生活の中でリスク - 識別と緩和 - を管理する能力を、自動車保険の購入に雨が降りそうなときに傘を持ってくるように促します。 AIシステムが日々の生活の一部になるにつれ、彼らもリスクを管理し始めています。 自動運転車は数百万マイルをログアウトし、starcraftとgoエージェントは人間と同じような能力を持ち、敵のリスクを暗黙的に管理する。 これらのタスクのパフォーマンスをさらに向上させるために、アウト・オブ・ディストリビューション評価はモデルのバイアスを特徴づけることができる。 しかし、低周波で高インパクトリスクを識別し緩和する学習は、機械学習モデルをトレーニングするために必要な観察バイアスと矛盾する。 starcraftとgoは、リスクが既知のクローズドワールドドメインであり、繰り返しを通じて学ぶのに理想的な緩和策が十分に文書化されている。 逆フィルタリングデータセットは難しい例を提供しているが、キュレーションや静的な処理には苦労している。 敵対的ロバスト性は、悪意のある意図を持つ敵が存在するという仮定の下でのモデル中毒に焦点をあてる。 これらの手法はすべてリスク管理を改善するための重要なステップですが、オープンワールドを考慮せずに実現します。 オープンワールドのリスク管理の課題を2つのコントリビューションで統一します。 ひとつは、影響が大きい環境に対する不完全な認識を持つエージェントのための、私たちの知覚課題です。 第2の貢献は認知の課題であり、新たなリスクを特定して新たな緩和を学ぶ際に、リスク露光を動的に調整する必要があるエージェントのために設計されています。 これらの課題に対する私たちのゴールは、オープンワールドと最終的に現実世界のリスクを管理するためにAIエージェントが必要とする予測思考を評価し改善するソリューションの研究を促進することです。

関連論文リスト

• Risk Alignment in Agentic AI Systems [0.0]
  監視の少ない複雑な行動を実行することができるエージェントAIは、そのようなシステムをユーザ、開発者、社会と安全に構築し整合させる方法について、新たな疑問を提起する。 リスクアライメントは、ユーザの満足度と信頼には重要ですが、社会にさらに大きな影響をもたらします。 これらの質問の重要な規範的および技術的側面を論じる3つの論文を提示する。
  論文  参考訳（メタデータ） (2024-10-02T18:21:08Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• AI and the Iterable Epistopics of Risk [1.26404863283601]
  AIが社会に提示するリスクは、一般的な計算によって管理可能であると広く理解されている。 本稿では、規制当局、開発者、サイバーセキュリティの専門家によるリスクの把握と管理について詳述する。
  論文  参考訳（メタデータ） (2024-04-29T13:33:22Z)
• The Reasoning Under Uncertainty Trap: A Structural AI Risk [0.0]
  RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。 この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
  論文  参考訳（メタデータ） (2024-01-29T17:16:57Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• An Overview of Catastrophic AI Risks [38.84933208563934]
  本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。 個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。 組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています 不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
  論文  参考訳（メタデータ） (2023-06-21T03:35:06Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Learning Collective Action under Risk Diversity [68.88688248278102]
  集団的リスクジレンマを演じることを学ぶエージェントのグループにおけるリスク多様性の結果について検討する。 リスクの多様性は、全体的な協力を著しく減らし、全体的な目標達成を妨げることを示す。 この結果から,エージェント間のリスク認識の整合性や新たな学習技術開発の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-01-30T18:21:21Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Towards Risk Modeling for Collaborative AI [5.941104748966331]
  コラボレーティブaiシステムは、共通の目標を達成するために、共有空間で人間と協力することを目指している。 この設定は、人間を傷つける可能性のある接触により、潜在的に危険な状況を引き起こす。 協調型AIシステムに合わせたリスクモデリング手法を紹介します。
  論文  参考訳（メタデータ） (2021-03-12T18:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。