論文の概要: On the Limitations of Compute Thresholds as a Governance Strategy
- arxiv url: http://arxiv.org/abs/2407.05694v2
- Date: Tue, 30 Jul 2024 02:37:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 21:33:36.640132
- Title: On the Limitations of Compute Thresholds as a Governance Strategy
- Title(参考訳): 経営戦略としての計算閾値の限界について
- Authors: Sara Hooker,
- Abstract要約: このエッセイの鍵となる結論は、現在実装されている計算しきい値が短く、リスクを軽減するのに失敗する可能性が高いということだ。
計算しきい値に基づいて、異なるスケールでどのような能力が出現するかを予測する能力が過大評価されます。
- 参考スコア(独自算出の注目度): 7.042707357431693
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: At face value, this essay is about understanding a fairly esoteric governance tool called compute thresholds. However, in order to grapple with whether these thresholds will achieve anything, we must first understand how they came to be. To do so, we need to engage with a decades-old debate at the heart of computer science progress, namely, is bigger always better? Does a certain inflection point of compute result in changes to the risk profile of a model? Hence, this essay may be of interest not only to policymakers and the wider public but also to computer scientists interested in understanding the role of compute in unlocking breakthroughs. This discussion is timely given the wide adoption of compute thresholds in both the White House Executive Orders on AI Safety (EO) and the EU AI Act to identify more risky systems. A key conclusion of this essay is that compute thresholds, as currently implemented, are shortsighted and likely to fail to mitigate risk. The relationship between compute and risk is highly uncertain and rapidly changing. Relying upon compute thresholds overestimates our ability to predict what abilities emerge at different scales. This essay ends with recommendations for a better way forward.
- Abstract(参考訳): このエッセイは、計算しきい値と呼ばれるかなり難解なガバナンスツールを理解するためのものだ。
しかし、これらのしきい値が何かを達成するかどうかに対処するためには、まず彼らがどうなったのかを理解する必要がある。
そうするためには、コンピュータサイエンスの進歩の中心にある何十年も前からの議論、すなわち、常にもっと大きいものに取り組む必要がある。
計算の特定のインフレクションポイントは、モデルのリスクプロファイルに変化をもたらすか?
したがって、このエッセイは政策立案者や一般大衆だけでなく、コンピュータ科学者にも関心があるかもしれない。
この議論は、よりリスクの高いシステムを特定するために、ホワイトハウスのAI安全に関する命令(EO)とEUのAI法の両方で計算しきい値が広く採用されていることをタイムリーに評価している。
このエッセイの重要な結論は、現在実装されている計算しきい値が短く、リスクを軽減するのに失敗する可能性があることである。
計算とリスクの関係は極めて不確実であり、急速に変化している。
計算しきい値に基づいて、異なるスケールでどのような能力が出現するかを予測する能力が過大評価されます。
このエッセイは、より良い方向に進むためのレコメンデーションで終わります。
関連論文リスト
- Risk thresholds for frontier AI [1.053373860696675]
人気が高まっているアプローチの1つは、機能しきい値を定義することである。
リスク閾値は単に、どれだけのリスクが過剰かを記述するだけです。
主な欠点は、信頼性の高い評価が難しいことだ。
論文 参考訳(メタデータ) (2024-06-20T20:16:29Z) - Algorithms for learning value-aligned policies considering admissibility relaxation [1.8336820954218835]
価値認識工学の新たな分野は、ソフトウェアエージェントとシステムは価値を意識すべきである、と主張している。
本稿では,局所的なアライメントに基づく戦略のための$epsilontext-ADQL$と,一連の決定のための$epsilontext-CADQL$という2つのアルゴリズムを提案する。
干ばつシナリオにおいて,水分散問題における効率性を検証した。
論文 参考訳(メタデータ) (2024-06-07T11:10:07Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳(メタデータ) (2024-04-25T21:14:24Z) - Computing Power and the Governance of Artificial Intelligence [51.967584623262674]
政府や企業は、AIを管理する手段として計算を活用し始めている。
計算ベースのポリシーと技術は、これらの領域を補助する可能性があるが、実装の準備ができている点で大きなバリエーションがある。
プライバシーや経済的影響、権力の中央集権化といった分野において、ガバナンスの計算方法の素早い、あるいは不十分なアプローチは重大なリスクを伴います。
論文 参考訳(メタデータ) (2024-02-13T21:10:21Z) - The Reasoning Under Uncertainty Trap: A Structural AI Risk [0.0]
RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。
この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
論文 参考訳(メタデータ) (2024-01-29T17:16:57Z) - Mathematical Algorithm Design for Deep Learning under Societal and
Judicial Constraints: The Algorithmic Transparency Requirement [65.26723285209853]
計算モデルにおける透過的な実装が実現可能かどうかを分析するための枠組みを導出する。
以上の結果から,Blum-Shub-Smale Machinesは,逆問題に対する信頼性の高い解法を確立できる可能性が示唆された。
論文 参考訳(メタデータ) (2024-01-18T15:32:38Z) - Learn Zero-Constraint-Violation Policy in Model-Free Constrained
Reinforcement Learning [7.138691584246846]
本稿では,安全指向エネルギー関数を用いてポリシー更新を限定するセーフセットアクタクリティカル(SSAC)アルゴリズムを提案する。
安全指数は、潜在的に危険な行動のために急速に増加するように設計されている。
我々は、値関数の学習と同様に、モデルのない方法でエネルギー関数を学習できると主張する。
論文 参考訳(メタデータ) (2021-11-25T07:24:30Z) - Policy Gradient for Continuing Tasks in Non-stationary Markov Decision
Processes [112.38662246621969]
強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。
我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。
ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
論文 参考訳(メタデータ) (2020-10-16T15:15:42Z) - Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。
最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。
より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
論文 参考訳(メタデータ) (2020-07-16T09:25:54Z) - Conservative Exploration in Reinforcement Learning [113.55554483194832]
平均報酬と有限地平線問題に対する保守的探索の概念を導入する。
我々は、学習中に保守的な制約が決して違反されないことを保証する楽観的なアルゴリズムを2つ提示する。
論文 参考訳(メタデータ) (2020-02-08T19:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。