論文の概要: On the Limitations of Compute Thresholds as a Governance Strategy

• arxiv url: http://arxiv.org/abs/2407.05694v1
• Date: Mon, 8 Jul 2024 07:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:40:17.381361
• Title: On the Limitations of Compute Thresholds as a Governance Strategy
• Title（参考訳）: 経営戦略としての計算閾値の限界について
• Authors: Sara Hooker,
• Abstract要約: このエッセイの主な結論は、現在実装されている計算しきい値が短く、リスクを軽減するのに失敗する可能性があるということだ。 いくつかの主要なフロンティアAI企業が、責任あるスケーリングポリシーをリリースした。 このエッセイは、より良い方向に進むためのレコメンデーションで終わる。
• 参考スコア（独自算出の注目度）: 7.042707357431693
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: At face value, this essay is about understanding a fairly esoteric governance tool called compute thresholds. However, in order to grapple with whether these thresholds will achieve anything, we must first understand how they came to be. This requires engaging with a decades-old debate at the heart of computer science progress, namely, is bigger always better? Hence, this essay may be of interest not only to policymakers and the wider public but also to computer scientists interested in understanding the role of compute in unlocking breakthroughs. Does a certain inflection point of compute result in changes to the risk profile of a model? This discussion is increasingly urgent given the wide adoption of governance approaches that suggest greater compute equates with higher propensity for harm. Several leading frontier AI companies have released responsible scaling policies. Both the White House Executive Orders on AI Safety (EO) and the EU AI Act encode the use of FLOP or floating-point operations as a way to identify more powerful systems. What is striking about the choice of compute thresholds to-date is that no models currently deployed in the wild fulfill the current criteria set by the EO. This implies that the emphasis is often not on auditing the risks and harms incurred by currently deployed models - but rather is based upon the belief that future levels of compute will introduce unforeseen new risks. A key conclusion of this essay is that compute thresholds as currently implemented are shortsighted and likely to fail to mitigate risk. Governance that is overly reliant on compute fails to understand that the relationship between compute and risk is highly uncertain and rapidly changing. It also overestimates our ability to predict what abilities emerge at different scales. This essay ends with recommendations for a better way forward.
• Abstract（参考訳）: このエッセイは、計算しきい値と呼ばれるかなり難解なガバナンスツールを理解するためのものだ。 しかし、これらのしきい値が何かを達成するかどうかに対処するためには、まず彼らがどうなったのかを理解する必要がある。 これは、コンピュータ科学の進歩の中心にある何十年も前からの議論、すなわち、もっと大きい方が良いのか? したがって、このエッセイは政策立案者や一般大衆だけでなく、コンピュータ科学者にも関心があるかもしれない。 計算の特定のインフレクションポイントは、モデルのリスクプロファイルに変化をもたらすか? この議論は、より大きな計算量と害の正当性を示唆するガバナンスアプローチが広く採用されていることを考えると、ますます緊急になっている。 いくつかの主要なフロンティアAI企業が、責任あるスケーリングポリシーをリリースした。 ホワイトハウスのAI安全に関する大統領令(EO)とEUのAI法は、より強力なシステムを特定する手段としてFLOPまたは浮動小数点演算を符号化している。 今までの計算しきい値の選択で注目すべきなのは、現在ワイルドにデプロイされているモデルが、EOが設定した現在の基準を満たしていないことです。 これは、しばしば、現在デプロイされているモデルによって引き起こされるリスクや損害を監査することではなく、むしろ将来の計算レベルが予期せぬ新しいリスクをもたらすという信念に基づいていることを意味する。 このエッセイの重要な結論は、現在実装されている計算しきい値が短く、リスクを軽減するのに失敗する可能性があるということだ。 計算に過度に依存するガバナンスは、計算とリスクの関係が極めて不確実であり、急速に変化していることを理解できない。 また、異なるスケールでどのような能力が出現するかを予測する能力も過大評価します。 このエッセイは、より良い方向に進むためのレコメンデーションで終わる。

関連論文リスト

• Risk thresholds for frontier AI [1.053373860696675]
  人気が高まっているアプローチの1つは、機能しきい値を定義することである。 リスク閾値は単に、どれだけのリスクが過剰かを記述するだけです。 主な欠点は、信頼性の高い評価が難しいことだ。
  論文  参考訳（メタデータ） (2024-06-20T20:16:29Z)
• Algorithms for learning value-aligned policies considering admissibility relaxation [1.8336820954218835]
  価値認識工学の新たな分野は、ソフトウェアエージェントとシステムは価値を意識すべきである、と主張している。 本稿では,局所的なアライメントに基づく戦略のための$epsilontext-ADQL$と,一連の決定のための$epsilontext-CADQL$という2つのアルゴリズムを提案する。 干ばつシナリオにおいて,水分散問題における効率性を検証した。
  論文  参考訳（メタデータ） (2024-06-07T11:10:07Z)
• Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
  Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。 この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
  論文  参考訳（メタデータ） (2024-04-25T21:14:24Z)
• Computing Power and the Governance of Artificial Intelligence [51.967584623262674]
  政府や企業は、AIを管理する手段として計算を活用し始めている。 計算ベースのポリシーと技術は、これらの領域を補助する可能性があるが、実装の準備ができている点で大きなバリエーションがある。 プライバシーや経済的影響、権力の中央集権化といった分野において、ガバナンスの計算方法の素早い、あるいは不十分なアプローチは重大なリスクを伴います。
  論文  参考訳（メタデータ） (2024-02-13T21:10:21Z)
• The Reasoning Under Uncertainty Trap: A Structural AI Risk [0.0]
  RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。 この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
  論文  参考訳（メタデータ） (2024-01-29T17:16:57Z)
• Mathematical Algorithm Design for Deep Learning under Societal and Judicial Constraints: The Algorithmic Transparency Requirement [65.26723285209853]
  計算モデルにおける透過的な実装が実現可能かどうかを分析するための枠組みを導出する。 以上の結果から,Blum-Shub-Smale Machinesは,逆問題に対する信頼性の高い解法を確立できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-01-18T15:32:38Z)
• Learn Zero-Constraint-Violation Policy in Model-Free Constrained Reinforcement Learning [7.138691584246846]
  本稿では,安全指向エネルギー関数を用いてポリシー更新を限定するセーフセットアクタクリティカル(SSAC)アルゴリズムを提案する。 安全指数は、潜在的に危険な行動のために急速に増加するように設計されている。 我々は、値関数の学習と同様に、モデルのない方法でエネルギー関数を学習できると主張する。
  論文  参考訳（メタデータ） (2021-11-25T07:24:30Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)
• Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
  バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。 最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。 より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-16T09:25:54Z)
• Conservative Exploration in Reinforcement Learning [113.55554483194832]
  平均報酬と有限地平線問題に対する保守的探索の概念を導入する。 我々は、学習中に保守的な制約が決して違反されないことを保証する楽観的なアルゴリズムを2つ提示する。
  論文  参考訳（メタデータ） (2020-02-08T19:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。