論文の概要: Auction-Based Regulation for Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2410.01871v1
• Date: Wed, 2 Oct 2024 17:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 10:14:15.504741
• Title: Auction-Based Regulation for Artificial Intelligence
• Title（参考訳）: オークションによる人工知能の規制
• Authors: Marco Bornstein, Zora Che, Suhas Julapalli, Abdirisak Mohamed, Amrit Singh Bedi, Furong Huang,
• Abstract要約: 本稿では,AIの安全性を規制するオークションベースの規制機構を提案する。 我々は、各参加エージェントの最善の戦略は、所定の最小限の安全閾値よりも安全なモデルを送ることであることを確実に保証する。 その結果,我々の規制オークションは,安全率と参加率を20%,参加率を15%向上させることがわかった。
• 参考スコア（独自算出の注目度）: 28.86995747151915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In an era of "moving fast and breaking things", regulators have moved slowly to pick up the safety, bias, and legal pieces left in the wake of broken Artificial Intelligence (AI) deployment. Since AI models, such as large language models, are able to push misinformation and stoke division within our society, it is imperative for regulators to employ a framework that mitigates these dangers and ensures user safety. While there is much-warranted discussion about how to address the safety, bias, and legal woes of state-of-the-art AI models, the number of rigorous and realistic mathematical frameworks to regulate AI safety is lacking. We take on this challenge, proposing an auction-based regulatory mechanism that provably incentivizes model-building agents (i) to deploy safer models and (ii) to participate in the regulation process. We provably guarantee, via derived Nash Equilibria, that each participating agent's best strategy is to submit a model safer than a prescribed minimum-safety threshold. Empirical results show that our regulatory auction boosts safety and participation rates by 20% and 15% respectively, outperforming simple regulatory frameworks that merely enforce minimum safety standards.
• Abstract（参考訳）: の時代に、規制当局はゆっくりと動き、人工知能(AI)の展開が壊れた後に残された安全、偏見、法的要素を拾い上げている。 大規模言語モデルのようなAIモデルは、社会内で誤情報やストークの分割を推進できるため、規制当局がこれらの危険を軽減し、ユーザーの安全を確保するための枠組みを採用することが不可欠である。 最先端のAIモデルの安全性、バイアス、法的な問題にどのように対処するかについては、多くの専門的な議論があるが、AIの安全性を規制する厳密で現実的な数学的フレームワークの数は不足している。 我々はこの課題に取り組み、モデル構築エージェントを確実にインセンティブを与えるオークションベースの規制機構を提案する。 (i)より安全なモデルをデプロイし、 二 規制手続に参加すること。 我々は、派生したNash Equilibriaを通じて、各参加者の最善の戦略は、所定の最小限の安全閾値よりも安全なモデルを提出することであるということを確実に保証する。 実証的な結果から,我々の規制オークションは,最低限の安全基準を強制する単純な規制枠組みよりも,安全率と参加率を20%,参加率を15%向上させることが示された。

関連論文リスト

• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• An FDA for AI? Pitfalls and Plausibility of Approval Regulation for Frontier Artificial Intelligence [0.0]
  我々は、フロンティアAIの規制に対する承認規制、すなわち、実験的なミニマと、その実験で部分的にまたは完全に条件付けられた政府のライセンスとを組み合わせた製品の適用性について検討する。 承認規制が単に適用されたとしても、フロンティアAIのリスクには不適当であると考える理由はいくつかある。 規制開発における政策学習と実験の役割を強調して締めくくる。
  論文  参考訳（メタデータ） (2024-08-01T17:54:57Z)
• SafeAligner: Safety Alignment against Jailbreak Attacks via Response Disparity Guidance [48.80398992974831]
  SafeAlignerは、ジェイルブレイク攻撃に対する防御を強化するためのデコード段階で実装された方法論である。 安全性を高めるために訓練されたセンチネルモデルと、よりリスクの高い応答を生成するように設計されたイントルーダモデルである。 SafeAlignerは有害なトークンの発生を低減しつつ、有益トークンの可能性を高めることができることを示す。
  論文  参考訳（メタデータ） (2024-06-26T07:15:44Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• The risks of risk-based AI regulation: taking liability seriously [46.90451304069951]
  AIの開発と規制は、重要な段階に達したようだ。 一部の専門家は、GPT-4よりも強力なAIシステムのトレーニングに関するモラトリアムを求めている。 本稿では、最も先進的な法的提案である欧州連合のAI法について分析する。
  論文  参考訳（メタデータ） (2023-11-03T12:51:37Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Frontier AI Regulation: Managing Emerging Risks to Public Safety [15.85618115026625]
  脆弱なAI」モデルは、公共の安全に深刻なリスクをもたらすのに十分な危険能力を持つ可能性がある。 業界の自己規制は重要な第一歩です。 安全基準の最初のセットを提案する。
  論文  参考訳（メタデータ） (2023-07-06T17:03:25Z)
• Regulating ChatGPT and other Large Generative AI Models [0.0]
  大規模な生成AIモデル(LGAIM)は、私たちのコミュニケーション、図示、作成の方法に急速に変化しています。 本稿では、信頼に値するAI規制に関する現在の議論の中で、これらの新しい生成モデルについて検討する。 LGAIM設定でAIバリューチェーンをキャプチャする新しい用語が提案されている。
  論文  参考訳（メタデータ） (2023-02-05T08:56:45Z)
• Constraints Satisfiability Driven Reinforcement Learning for Autonomous Cyber Defense [7.321728608775741]
  強化学習(RL)の防御政策の最適化と検証を目的とした新しいハイブリッド自律エージェントアーキテクチャを紹介します。 我々は、安全かつ効果的な行動に向けてRL決定を操るために、制約検証(SMT(Satisfiability modulo theory))を用いる。 シミュレーションCPS環境における提案手法の評価は,エージェントが最適方針を迅速に学習し,99%のケースで多種多様な攻撃戦略を破ることを示す。
  論文  参考訳（メタデータ） (2021-04-19T01:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。