論文の概要: Towards Risk Modeling for Collaborative AI
- arxiv url: http://arxiv.org/abs/2103.07460v1
- Date: Fri, 12 Mar 2021 18:53:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-15 13:15:49.761788
- Title: Towards Risk Modeling for Collaborative AI
- Title(参考訳): 協調型AIのリスクモデリングに向けて
- Authors: Matteo Camilli, Michael Felderer, Andrea Giusti, Dominik T. Matt, Anna
Perini, Barbara Russo, Angelo Susi
- Abstract要約: コラボレーティブaiシステムは、共通の目標を達成するために、共有空間で人間と協力することを目指している。
この設定は、人間を傷つける可能性のある接触により、潜在的に危険な状況を引き起こす。
協調型AIシステムに合わせたリスクモデリング手法を紹介します。
- 参考スコア(独自算出の注目度): 5.941104748966331
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collaborative AI systems aim at working together with humans in a shared
space to achieve a common goal. This setting imposes potentially hazardous
circumstances due to contacts that could harm human beings. Thus, building such
systems with strong assurances of compliance with requirements domain specific
standards and regulations is of greatest importance. Challenges associated with
the achievement of this goal become even more severe when such systems rely on
machine learning components rather than such as top-down rule-based AI. In this
paper, we introduce a risk modeling approach tailored to Collaborative AI
systems. The risk model includes goals, risk events and domain specific
indicators that potentially expose humans to hazards. The risk model is then
leveraged to drive assurance methods that feed in turn the risk model through
insights extracted from run-time evidence. Our envisioned approach is described
by means of a running example in the domain of Industry 4.0, where a robotic
arm endowed with a visual perception component, implemented with machine
learning, collaborates with a human operator for a production-relevant task.
- Abstract(参考訳): コラボレーティブaiシステムは、共通の目標を達成するために、共有空間で人間と協力することを目指している。
この設定は、人間を傷つける可能性のある接触により、潜在的に危険な状況を引き起こす。
したがって、要求ドメイン固有の標準や規制に強く準拠したシステムを構築することが最重要となる。
このようなシステムがトップダウンルールベースのAIではなく、機械学習コンポーネントに依存している場合、この目標の達成に関連する課題はさらに深刻になります。
本稿では,協調型AIシステムに適したリスクモデリング手法を提案する。
リスクモデルは、人間を危険に晒す可能性のある目標、リスクイベント、ドメイン固有の指標を含む。
リスクモデルを利用して、実行時の証拠から抽出した洞察を通じてリスクモデルに供給する保証メソッドを駆動する。
提案手法は,ロボットアームに視覚知覚コンポーネントを組み込んだ産業用4.0の動作例を用いて記述し,人間の操作者と協力して生産関連タスクを行う。
関連論文リスト
- A Framework for Exploring the Consequences of AI-Mediated Enterprise
Knowledge Access and Identifying Risks to Workers [3.3096209174849824]
本稿では、AIを利用した企業知識アクセスシステムから労働者のリスクを特定するためのConsequence-Mechanism-Riskフレームワークを提案する。
我々は、労働者に対するリスクを詳述した幅広い文献を執筆し、労働者の価値、力、幸福に対するリスクを分類した。
今後の作業は、この枠組みを他の技術システムに適用し、労働者や他のグループの保護を促進する可能性がある。
論文 参考訳(メタデータ) (2023-12-08T17:05:40Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳(メタデータ) (2023-11-13T21:20:17Z) - Learning Risk-Aware Quadrupedal Locomotion using Distributional
Reinforcement Learning [13.279646927568937]
本稿では,分散強化学習を用いたリスクセンシティブな移動訓練手法を提案する。
本研究では,ロボットが環境と相互作用する際の不確実性を考慮した完全な値分布を推定する。
シミュレーションおよび四足歩行ロボットANYmalにおいて,突発的リスクに敏感な移動行動を示す。
論文 参考訳(メタデータ) (2023-09-25T16:05:32Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳(メタデータ) (2023-06-21T03:35:06Z) - Model evaluation for extreme risks [46.53170857607407]
AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。
モデル評価が極端なリスクに対処するために重要である理由を説明します。
論文 参考訳(メタデータ) (2023-05-24T16:38:43Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳(メタデータ) (2022-11-27T21:43:45Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳(メタデータ) (2022-09-13T21:47:25Z) - Collaborative AI Needs Stronger Assurances Driven by Risks [5.657409854809804]
共同AIシステム(CAIS)は、共通の目標を達成するために、共有空間で人間と協力することを目的としている。
要件やドメイン固有の標準、規制の遵守を強く保証したシステムを構築することが、最も重要なのです。
論文 参考訳(メタデータ) (2021-12-01T15:24:21Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳(メタデータ) (2021-07-28T10:28:05Z) - Risk-Sensitive Sequential Action Control with Multi-Modal Human
Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。
私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。
シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
論文 参考訳(メタデータ) (2020-09-12T02:02:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。