論文の概要: Unsolved Problems in ML Safety
- arxiv url: http://arxiv.org/abs/2109.13916v1
- Date: Tue, 28 Sep 2021 17:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 15:01:29.613003
- Title: Unsolved Problems in ML Safety
- Title(参考訳): ML安全性の未解決問題
- Authors: Dan Hendrycks and Nicholas Carlini and John Schulman and Jacob
Steinhardt
- Abstract要約: 研究の準備ができている4つの問題、すなわち、ハザードを克服し、ハザードを特定し、MLシステムを操り、MLシステムの扱い方に対するリスクを低減する。
それぞれの問題のモチベーションを明確にし、具体的な研究指針を提供する。
- 参考スコア(独自算出の注目度): 45.82027272958549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) systems are rapidly increasing in size, are acquiring
new capabilities, and are increasingly deployed in high-stakes settings. As
with other powerful technologies, safety for ML should be a leading research
priority. In response to emerging safety challenges in ML, such as those
introduced by recent large-scale models, we provide a new roadmap for ML Safety
and refine the technical problems that the field needs to address. We present
four problems ready for research, namely withstanding hazards ("Robustness"),
identifying hazards ("Monitoring"), steering ML systems ("Alignment"), and
reducing risks to how ML systems are handled ("External Safety"). Throughout,
we clarify each problem's motivation and provide concrete research directions.
- Abstract(参考訳): 機械学習(ml)システムは、急速に拡大し、新しい機能を獲得し、高リスク設定にますますデプロイされている。
他の強力な技術と同様に、MLの安全性は研究の優先事項であるべきだ。
近年の大規模モデルが導入したmlにおける新たな安全性課題への対応として,mlの安全性に関する新たなロードマップと,分野が対処すべき技術的問題を洗練することを提案する。
研究の準備ができている4つの問題、すなわち、ハザード("Robustness")、ハザード("Monitoring")、MLシステム("Alignment")のステアリング("Alignment")、MLシステムの扱い方に対するリスクの低減("External Safety")について述べる。
各問題のモチベーションを明確にし,具体的な研究指針を提供する。
関連論文リスト
- Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - Concrete Safety for ML Problems: System Safety for ML Development and
Assessment [0.758305251912708]
信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。
システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績のある、確立された分野である。
論文 参考訳(メタデータ) (2023-02-06T18:02:07Z) - Is the Rush to Machine Learning Jeopardizing Safety? Results of a Survey [2.8348950186890467]
機械学習(ML)が安全クリティカルシステム(SCS)への道を探っている
現在の安全基準とプラクティスは、ML技術に対応するように設計されていない。
論文 参考訳(メタデータ) (2021-11-29T04:53:39Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳(メタデータ) (2021-04-29T09:54:54Z) - White Paper Machine Learning in Certified Systems [70.24215483154184]
DEEL Project set-up the ML Certification 3 Workgroup (WG) set-up by the Institut de Recherche Technologique Saint Exup'ery de Toulouse (IRT)
論文 参考訳(メタデータ) (2021-03-18T21:14:30Z) - Robust Machine Learning Systems: Challenges, Current Trends,
Perspectives, and the Road Ahead [24.60052335548398]
機械学習(ML)技術は、スマートサイバーフィジカルシステム(CPS)とIoT(Internet-of-Things)によって急速に採用されています。
ハードウェアとソフトウェアの両方のレベルで、さまざまなセキュリティと信頼性の脅威に脆弱であり、その正確性を損ないます。
本稿では、現代のMLシステムの顕著な脆弱性を要約し、これらの脆弱性に対する防御と緩和技術の成功を強調する。
論文 参考訳(メタデータ) (2021-01-04T20:06:56Z) - Machine Learning (In) Security: A Stream of Problems [17.471312325933244]
我々は、サイバーセキュリティデータに対する機械学習技術の正しい適用における主な課題を特定し、詳細化し、議論する。
我々は,概念のドリフト,進化,ラベルの遅延,および既存のソリューションに対する敵MLの影響を評価する。
我々は、ある状況下で既存の解決策が失敗する可能性を提示し、それらに対する緩和を提案する。
論文 参考訳(メタデータ) (2020-10-30T03:40:10Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。