論文の概要: Declare and Justify: Explicit assumptions in AI evaluations are necessary for effective regulation

• arxiv url: http://arxiv.org/abs/2411.12820v1
• Date: Tue, 19 Nov 2024 19:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:32.714662
• Title: Declare and Justify: Explicit assumptions in AI evaluations are necessary for effective regulation
• Title（参考訳）: 宣言と正当化:AI評価における明示的な仮定は効果的な規制に必要である
• Authors: Peter Barnett, Lisa Thiergart,
• Abstract要約: 規制は、開発者が評価に関する主要な前提を明示的に識別し、正当化する必要がある、と我々は主張する。 我々は、包括的脅威モデリング、プロキシタスクの妥当性、適切な能力付与など、AI評価における中核的な仮定を特定する。 提案したアプローチは,AI開発における透明性の向上を目標とし,先進的なAIシステムのより効果的なガバナンスに向けた実践的な道筋を提供する。
• 参考スコア（独自算出の注目度）: 2.07180164747172
• License:
• Abstract: As AI systems advance, AI evaluations are becoming an important pillar of regulations for ensuring safety. We argue that such regulation should require developers to explicitly identify and justify key underlying assumptions about evaluations as part of their case for safety. We identify core assumptions in AI evaluations (both for evaluating existing models and forecasting future models), such as comprehensive threat modeling, proxy task validity, and adequate capability elicitation. Many of these assumptions cannot currently be well justified. If regulation is to be based on evaluations, it should require that AI development be halted if evaluations demonstrate unacceptable danger or if these assumptions are inadequately justified. Our presented approach aims to enhance transparency in AI development, offering a practical path towards more effective governance of advanced AI systems.
• Abstract（参考訳）: AIシステムが進歩するにつれ、AI評価は安全性を確保するための規制の重要な柱になりつつある。 このような規制は、開発者が安全のために、評価に関する主要な前提を明示的に特定し、正当化する必要がある、と我々は主張する。 我々は、包括的な脅威モデリング、プロキシタスクの妥当性、適切な能力付与など、AI評価(既存モデルの評価と将来のモデル予測の両方)の中核的な仮定を特定する。 これらの仮定の多くは、現時点では十分に正当化できない。 もし規制が評価に基づいているのであれば、評価が容認できない危険を示す場合や、これらの仮定が不十分に正当化されている場合、AI開発を中止する必要がある。 提案したアプローチは,AI開発における透明性の向上を目標とし,先進的なAIシステムのより効果的なガバナンスに向けた実践的な道筋を提供する。

関連論文リスト

• Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
  信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。 私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
  論文  参考訳（メタデータ） (2024-10-25T07:53:32Z)
• How Could Generative AI Support Compliance with the EU AI Act? A Review for Safe Automated Driving Perception [4.075971633195745]
  ディープニューラルネットワーク(DNN)は、自動運転車の知覚機能の中心となっている。 EU(EU)人工知能(AI)法は、AIシステムの厳格な規範と標準を確立することによって、これらの課題に対処することを目的としている。 本稿では、DNNに基づく知覚システムに関するEU AI法から生じる要件を要約し、ADにおける既存の生成AIアプリケーションを体系的に分類する。
  論文  参考訳（メタデータ） (2024-08-30T12:01:06Z)
• The Dilemma of Uncertainty Estimation for General Purpose AI in the EU AI Act [6.9060054915724]
  AI法は、欧州連合全体のAIシステムの規制である。 我々は、不確実性推定が、実世界でモデルをデプロイするために必要なコンポーネントであるべきだと論じる。
  論文  参考訳（メタデータ） (2024-08-20T23:59:51Z)
• Evaluating AI Evaluation: Perils and Prospects [8.086002368038658]
  本稿では,これらのシステムに対する評価手法が根本的に不適切であることを主張する。 AIシステムを評価するためには改革が必要であり、インスピレーションを得るために認知科学に目を向けるべきである、と私は主張する。
  論文  参考訳（メタデータ） (2024-07-12T12:37:13Z)
• A Nested Model for AI Design and Validation [0.5120567378386615]
  新しい規制の必要性にもかかわらず、規制科学とAIの間にはミスマッチがある。 AI設計と検証のための5層ネストモデルが、これらの問題に対処することを目指している。
  論文  参考訳（メタデータ） (2024-06-08T12:46:12Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• Functional trustworthiness of AI systems by statistically valid testing [7.717286312400472]
  著者らは、現在のEU人工知能(AI)法の草案で要求される不適切な措置と手続きのために、欧州市民の安全、健康、および権利を懸念している。 私たちは、現在のEU AI Actの草案だけでなく、CEN/CENELECの標準化活動も、AIシステムの真の機能保証は非現実的であり、複雑すぎるという立場に頼っていることを観察しています。
  論文  参考訳（メタデータ） (2023-10-04T11:07:52Z)
• Model evaluation for extreme risks [46.53170857607407]
  AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。 モデル評価が極端なリスクに対処するために重要である理由を説明します。
  論文  参考訳（メタデータ） (2023-05-24T16:38:43Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims [59.64274607533249]
  AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。 このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。 我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
  論文  参考訳（メタデータ） (2020-04-15T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。