論文の概要: Safe Transformative AI via a Windfall Clause
- arxiv url: http://arxiv.org/abs/2108.09404v1
- Date: Fri, 20 Aug 2021 23:59:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-24 15:34:54.206008
- Title: Safe Transformative AI via a Windfall Clause
- Title(参考訳): ウィンドフォールクロースによる安全なトランスフォーメーションAI
- Authors: Paolo Bova, Jonas Emanuel M\"uller, Benjamin Harack
- Abstract要約: 競争のモデルは、企業が安全になる前にトランスフォーメーション人工知能(TAI)システムを展開するという強力な競争圧力に直面していることを示している。
本稿では、開発者が最終的に非常に大きな利益のかなりの部分を良い原因に寄付することを約束するウィンドフォール・クロース(Windfall Clause)という、この問題に対する提案された解決策を探求する。
我々は、これらの課題を克服するWindfall Clauseを企業や政策立案者がどのように設計できるかを示すために、Windfall ClauseとTAIコンペティションのモデルを拡張します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Society could soon see transformative artificial intelligence (TAI). Models
of competition for TAI show firms face strong competitive pressure to deploy
TAI systems before they are safe. This paper explores a proposed solution to
this problem, a Windfall Clause, where developers commit to donating a
significant portion of any eventual extremely large profits to good causes.
However, a key challenge for a Windfall Clause is that firms must have reason
to join one. Firms must also believe these commitments are credible. We extend
a model of TAI competition with a Windfall Clause to show how firms and
policymakers can design a Windfall Clause which overcomes these challenges.
Encouragingly, firms benefit from joining a Windfall Clause under a wide range
of scenarios. We also find that firms join the Windfall Clause more often when
the competition is more dangerous. Even when firms learn each other's
capabilities, firms rarely wish to withdraw their support for the Windfall
Clause. These three findings strengthen the case for using a Windfall Clause to
promote the safe development of TAI.
- Abstract(参考訳): 社会はすぐにトランスフォーメーション人工知能(tai:transformative artificial intelligence)を見ることができた。
tai showの競争モデルは、安全になる前にtaiシステムを展開する強力な競争圧力にさらされている。
本稿では、開発者が最終的に非常に大きな利益のかなりの部分を良い原因に寄付することを約束するWindfall Clauseという、この問題に対する解決策を提案する。
しかし、Windfall Clauseにとって重要な課題は、企業が参加する理由がなければならないことだ。
企業はこれらのコミットメントが信頼できると信じなければならない。
我々は、これらの課題を克服するWindfall Clauseを企業や政策立案者がどのように設計できるかを示すために、Windfall ClauseとTAIコンペティションのモデルを拡張します。
企業は幅広いシナリオでWindfall Clauseに参加することで利益を得る。
また、競争がより危険な場合、企業はより頻繁にウィンドフォール条項に参加します。
企業が互いの能力を習得しても、企業がウィンドフォール・クロースへの支持を辞退することはめったにない。
これらの3つの知見は,TAIの安全開発を促進するためにウィンドフォール・クロースを用いたケースを強化するものである。
関連論文リスト
- A Safe Harbor for AI Evaluation and Red Teaming [124.89885800509505]
一部の研究者は、そのような研究の実施や研究成果の公表が、アカウント停止や法的報復につながることを恐れている。
我々は、主要なAI開発者が法的、技術的に安全な港を提供することを約束することを提案します。
これらのコミットメントは、ジェネレーティブAIのリスクに取り組むための、より包括的で意図しないコミュニティ努力への必要なステップである、と私たちは信じています。
論文 参考訳(メタデータ) (2024-03-07T20:55:08Z) - On Prompt-Driven Safeguarding for Large Language Models [178.612893285033]
モデル表現空間において、有害で有害なクエリは、大きく区別できるが、これは安全プロンプトによって顕著に強化されない。
そこで本研究では,DRO(Directed Representation Optimization)と呼ばれる自動安全プロンプト最適化手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T17:28:24Z) - The risks of risk-based AI regulation: taking liability seriously [46.90451304069951]
AIの開発と規制は、重要な段階に達したようだ。
一部の専門家は、GPT-4よりも強力なAIシステムのトレーニングに関するモラトリアムを求めている。
本稿では、最も先進的な法的提案である欧州連合のAI法について分析する。
論文 参考訳(メタデータ) (2023-11-03T12:51:37Z) - Cooperation or Competition: Avoiding Player Domination for Multi-Target
Robustness via Adaptive Budgets [76.20705291443208]
我々は、敵攻撃を、異なるプレイヤーがパラメータ更新の合同方向で合意に達するために交渉する交渉ゲームであると見なしている。
我々は、プレイヤーの優位性を避けるために、異なる敵の予算を調整する新しいフレームワークを設計する。
標準ベンチマークの実験では、提案したフレームワークを既存のアプローチに適用することで、マルチターゲットロバスト性が大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-06-27T14:02:10Z) - Challenges with the Application of Cyber Security for Airworthiness
(CSA) in Real-World Contexts [0.0]
商業、一般、軍用空域におけるコンピュータ技術への依存への取り組みにより、サイバーリスクや攻撃の可能性が増大する。
DO 326AやED 202Aのようなグッドプラクティス標準は、サービス内機に対するサイバーセキュリティのガイドラインを提供することによって、この問題に対処しようとするものである。
この研究は、CSAの現実世界の応用に関する相互関係の課題と、それらが克服される可能性の始まりを探求する。
論文 参考訳(メタデータ) (2023-05-16T08:10:25Z) - Emerging Technology and Policy Co-Design Considerations for the Safe and
Transparent Use of Small Unmanned Aerial Systems [55.60330679737718]
sUASセクターで見られる急速な技術発展は、これらの機器を運用する安全で信頼できる環境を提供するための政策や規制にギャップを残している。
人的要因から自治に至るまで、我々は、sUAS産業の成長に伴う政策ギャップを減らすために、学術、商業、政府部門のパートナーによって取られる一連の措置を推奨する。
論文 参考訳(メタデータ) (2022-12-06T07:17:46Z) - SAAC: Safe Reinforcement Learning as an Adversarial Game of
Actor-Critics [11.132587007566329]
そこで我々は,SAACと呼ばれるソフトアクター批判フレームワークを開発した。
SAACでは、RLエージェントが制約値関数の最大化を目標として、安全制約を破ることを目的としている。
安全性の制約を満たすために,SAACはより早く収束し,効率が良く,障害が少なくなることを示す。
論文 参考訳(メタデータ) (2022-04-20T12:32:33Z) - Voluntary safety commitments provide an escape from over-regulation in
AI development [8.131948859165432]
この研究は、ピアまたは機関による制裁による自発的なコミットメントが、社会的に有益な結果をもたらすことを初めて明らかにしている。
結果は、倫理的で責任あるAI技術開発プロセスを保証することを目的としたガバナンスと規制ポリシーの設計に直接関係しています。
論文 参考訳(メタデータ) (2021-04-08T12:54:56Z) - Competing Bandits: The Perils of Exploration Under Competition [119.39607854637798]
オンラインプラットフォーム上での探索と競争の相互作用について検討する。
私たちは、スタークコンペティションが企業に対して、低福祉につながる「欲張り」バンディットアルゴリズムにコミットするよう促すことに気付きました。
競争を弱めるための2つのチャンネルについて検討する。
論文 参考訳(メタデータ) (2020-07-20T14:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。