論文の概要: Risk thresholds for frontier AI
- arxiv url: http://arxiv.org/abs/2406.14713v1
- Date: Thu, 20 Jun 2024 20:16:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 17:49:36.163068
- Title: Risk thresholds for frontier AI
- Title（参考訳）: フロンティアAIのリスクしきい値
- Authors: Leonie Koessler, Jonas Schuett, Markus Anderljung,
- Abstract要約: 人気が高まっているアプローチの1つは、機能しきい値を定義することである。
リスク閾値は単に、どれだけのリスクが過剰かを記述するだけです。
主な欠点は、信頼性の高い評価が難しいことだ。
- 参考スコア（独自算出の注目度）: 1.053373860696675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier artificial intelligence (AI) systems could pose increasing risks to public safety and security. But what level of risk is acceptable? One increasingly popular approach is to define capability thresholds, which describe AI capabilities beyond which an AI system is deemed to pose too much risk. A more direct approach is to define risk thresholds that simply state how much risk would be too much. For instance, they might state that the likelihood of cybercriminals using an AI system to cause X amount of economic damage must not increase by more than Y percentage points. The main upside of risk thresholds is that they are more principled than capability thresholds, but the main downside is that they are more difficult to evaluate reliably. For this reason, we currently recommend that companies (1) define risk thresholds to provide a principled foundation for their decision-making, (2) use these risk thresholds to help set capability thresholds, and then (3) primarily rely on capability thresholds to make their decisions. Regulators should also explore the area because, ultimately, they are the most legitimate actors to define risk thresholds. If AI risk estimates become more reliable, risk thresholds should arguably play an increasingly direct role in decision-making.
- Abstract（参考訳）: 最前線の人工知能(AI)システムは、公共の安全とセキュリティのリスクを増大させる可能性がある。
しかし、どのレベルのリスクが受け入れられるのか?
ますます一般的なアプローチのひとつは、AIシステムが過度にリスクを負うと見なされる、AI能力を記述する機能しきい値を定義することだ。
より直接的なアプローチは、リスクが過大評価されるリスクしきい値を定義することです。
例えば、AIシステムを使用したサイバー犯罪者がXの経済被害を発生させる可能性は、Y以上のポイントで増加してはいけない、と彼らは述べている。
リスクしきい値の主な利点は、それらが能力しきい値よりも原則的であることであるが、主な欠点は、信頼性の高い評価が難しいことである。
そのため、現在、企業は(1)意思決定の原則的基盤を提供するためのリスクしきい値を定義し、(2)これらのリスクしきい値を使用して能力しきい値を設定し、(3)主に能力しきい値に頼って意思決定を行うことを推奨しています。
規制当局は、最終的にリスク閾値を定義する最も合法的なアクターであるため、この領域を探索する必要がある。
AIのリスク見積がより信頼できるものになると、リスクしきい値が意思決定においてますます直接的な役割を果たすはずだ。
関連論文リスト
- On the Limitations of Compute Thresholds as a Governance Strategy [7.042707357431693]
このエッセイの主な結論は、現在実装されている計算しきい値が短く、リスクを軽減するのに失敗する可能性があるということだ。
いくつかの主要なフロンティアAI企業が、責任あるスケーリングポリシーをリリースした。
このエッセイは、より良い方向に進むためのレコメンデーションで終わる。
論文 参考訳（メタデータ） (2024-07-08T07:53:06Z) - AI Risk Categorization Decoded (AIR 2024): From Government Regulations to Corporate Policies [88.32153122712478]
我々は4階層の分類に分類された314のユニークなリスクカテゴリを特定した。
最高レベルでは、この分類はシステム・アンド・オペレーショナル・リスク、コンテンツ・セーフティ・リスク、社会的なリスク、法と権利のリスクを含む。
我々は、セクター間の情報共有と、生成型AIモデルとシステムのリスク軽減におけるベストプラクティスの推進を通じて、AIの安全性を向上することを目指している。
論文 参考訳（メタデータ） (2024-06-25T18:13:05Z) - Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。
この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
論文 参考訳（メタデータ） (2024-05-14T13:37:36Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳（メタデータ） (2024-04-25T21:14:24Z) - RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。
RiskQは広範な実験によって有望な性能が得られることを示す。
論文 参考訳（メタデータ） (2023-11-03T07:18:36Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Frontier AI Regulation: Managing Emerging Risks to Public Safety [15.85618115026625]
脆弱なAI」モデルは、公共の安全に深刻なリスクをもたらすのに十分な危険能力を持つ可能性がある。
業界の自己規制は重要な第一歩です。
安全基準の最初のセットを提案する。
論文 参考訳（メタデータ） (2023-07-06T17:03:25Z) - Three lines of defense against risks from AI [0.0]
AIリスク管理の責任者は必ずしも明確ではない。
3つの防衛ライン(3LoD)モデルは、多くの産業でベストプラクティスと考えられている。
私は、AI企業がモデルを実装できる方法を提案する。
論文 参考訳（メタデータ） (2022-12-16T09:33:00Z) - A Brief Overview of AI Governance for Responsible Machine Learning
Systems [3.222802562733787]
このポジションペーパーは、AIの責任ある使用を監督するように設計されたフレームワークである、AIガバナンスの簡単な紹介を提案する。
AIの確率的性質のため、それに関連するリスクは従来の技術よりもはるかに大きい。
論文 参考訳（メタデータ） (2022-11-21T23:48:51Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳（メタデータ） (2022-09-13T21:47:25Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳（メタデータ） (2022-05-10T19:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。