論文の概要: Auction-Based Regulation for Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2410.01871v1
- Date: Wed, 02 Oct 2024 17:57:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 17:55:28.614650
- Title: Auction-Based Regulation for Artificial Intelligence
- Title(参考訳): オークションによる人工知能の規制
- Authors: Marco Bornstein, Zora Che, Suhas Julapalli, Abdirisak Mohamed, Amrit Singh Bedi, Furong Huang,
- Abstract要約: 本稿では,AIの安全性を規制するオークションベースの規制機構を提案する。
我々は、各参加エージェントの最善の戦略は、所定の最小限の安全閾値よりも安全なモデルを送ることであることを確実に保証する。
その結果,我々の規制オークションは,安全率と参加率を20%,参加率を15%向上させることがわかった。
- 参考スコア(独自算出の注目度): 28.86995747151915
- License:
- Abstract: In an era of "moving fast and breaking things", regulators have moved slowly to pick up the safety, bias, and legal pieces left in the wake of broken Artificial Intelligence (AI) deployment. Since AI models, such as large language models, are able to push misinformation and stoke division within our society, it is imperative for regulators to employ a framework that mitigates these dangers and ensures user safety. While there is much-warranted discussion about how to address the safety, bias, and legal woes of state-of-the-art AI models, the number of rigorous and realistic mathematical frameworks to regulate AI safety is lacking. We take on this challenge, proposing an auction-based regulatory mechanism that provably incentivizes model-building agents (i) to deploy safer models and (ii) to participate in the regulation process. We provably guarantee, via derived Nash Equilibria, that each participating agent's best strategy is to submit a model safer than a prescribed minimum-safety threshold. Empirical results show that our regulatory auction boosts safety and participation rates by 20% and 15% respectively, outperforming simple regulatory frameworks that merely enforce minimum safety standards.
- Abstract(参考訳): の時代に、規制当局はゆっくりと動き、人工知能(AI)の展開が壊れた後に残された安全、偏見、法的要素を拾い上げている。
大規模言語モデルのようなAIモデルは、社会内で誤情報やストークの分割を推進できるため、規制当局がこれらの危険を軽減し、ユーザーの安全を確保するための枠組みを採用することが不可欠である。
最先端のAIモデルの安全性、バイアス、法的な問題にどのように対処するかについては、多くの専門的な議論があるが、AIの安全性を規制する厳密で現実的な数学的フレームワークの数は不足している。
我々はこの課題に取り組み、モデル構築エージェントを確実にインセンティブを与えるオークションベースの規制機構を提案する。
(i)より安全なモデルをデプロイし、
二 規制手続に参加すること。
我々は、派生したNash Equilibriaを通じて、各参加者の最善の戦略は、所定の最小限の安全閾値よりも安全なモデルを提出することであるということを確実に保証する。
実証的な結果から,我々の規制オークションは,最低限の安全基準を強制する単純な規制枠組みよりも,安全率と参加率を20%,参加率を15%向上させることが示された。
関連論文リスト
- From Principles to Rules: A Regulatory Approach for Frontier AI [2.1764247401772705]
レギュレータは、フロンティアAI開発者に安全対策を適用するよう要求する。
要件は、ハイレベルな原則や特定のルールとして定式化できる。
これらの規制アプローチは「原則ベース」および「ルールベース」規制と呼ばれ、補完的な強みと弱みを持っている。
論文 参考訳(メタデータ) (2024-07-10T01:45:15Z) - SafeAligner: Safety Alignment against Jailbreak Attacks via Response Disparity Guidance [48.80398992974831]
SafeAlignerは、ジェイルブレイク攻撃に対する防御を強化するためのデコード段階で実装された方法論である。
安全性を高めるために訓練されたセンチネルモデルと、よりリスクの高い応答を生成するように設計されたイントルーダモデルである。
SafeAlignerは有害なトークンの発生を低減しつつ、有益トークンの可能性を高めることができることを示す。
論文 参考訳(メタデータ) (2024-06-26T07:15:44Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z) - The risks of risk-based AI regulation: taking liability seriously [46.90451304069951]
AIの開発と規制は、重要な段階に達したようだ。
一部の専門家は、GPT-4よりも強力なAIシステムのトレーニングに関するモラトリアムを求めている。
本稿では、最も先進的な法的提案である欧州連合のAI法について分析する。
論文 参考訳(メタデータ) (2023-11-03T12:51:37Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳(メタデータ) (2023-10-14T17:10:28Z) - Safety Margins for Reinforcement Learning [74.13100479426424]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳(メタデータ) (2023-07-25T16:49:54Z) - Frontier AI Regulation: Managing Emerging Risks to Public Safety [15.85618115026625]
脆弱なAI」モデルは、公共の安全に深刻なリスクをもたらすのに十分な危険能力を持つ可能性がある。
業界の自己規制は重要な第一歩です。
安全基準の最初のセットを提案する。
論文 参考訳(メタデータ) (2023-07-06T17:03:25Z) - Regulating ChatGPT and other Large Generative AI Models [0.0]
大規模な生成AIモデル(LGAIM)は、私たちのコミュニケーション、図示、作成の方法に急速に変化しています。
本稿では、信頼に値するAI規制に関する現在の議論の中で、これらの新しい生成モデルについて検討する。
LGAIM設定でAIバリューチェーンをキャプチャする新しい用語が提案されている。
論文 参考訳(メタデータ) (2023-02-05T08:56:45Z) - Constraints Satisfiability Driven Reinforcement Learning for Autonomous
Cyber Defense [7.321728608775741]
強化学習(RL)の防御政策の最適化と検証を目的とした新しいハイブリッド自律エージェントアーキテクチャを紹介します。
我々は、安全かつ効果的な行動に向けてRL決定を操るために、制約検証(SMT(Satisfiability modulo theory))を用いる。
シミュレーションCPS環境における提案手法の評価は,エージェントが最適方針を迅速に学習し,99%のケースで多種多様な攻撃戦略を破ることを示す。
論文 参考訳(メタデータ) (2021-04-19T01:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。