論文の概要: Evaluating AI Evaluation: Perils and Prospects

• arxiv url: http://arxiv.org/abs/2407.09221v1
• Date: Fri, 12 Jul 2024 12:37:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-15 23:38:05.374449
• Title: Evaluating AI Evaluation: Perils and Prospects
• Title（参考訳）: AI評価を評価する - 限界と展望
• Authors: John Burden,
• Abstract要約: 本稿では,これらのシステムに対する評価手法が根本的に不適切であることを主張する。 AIシステムを評価するためには改革が必要であり、インスピレーションを得るために認知科学に目を向けるべきである、と私は主張する。
• 参考スコア（独自算出の注目度）: 8.086002368038658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI systems appear to exhibit ever-increasing capability and generality, assessing their true potential and safety becomes paramount. This paper contends that the prevalent evaluation methods for these systems are fundamentally inadequate, heightening the risks and potential hazards associated with AI. I argue that a reformation is required in the way we evaluate AI systems and that we should look towards cognitive sciences for inspiration in our approaches, which have a longstanding tradition of assessing general intelligence across diverse species. We will identify some of the difficulties that need to be overcome when applying cognitively-inspired approaches to general-purpose AI systems and also analyse the emerging area of "Evals". The paper concludes by identifying promising research pathways that could refine AI evaluation, advancing it towards a rigorous scientific domain that contributes to the development of safe AI systems.
• Abstract（参考訳）: AIシステムは、常に増加する能力と一般性を示すため、その真の可能性と安全性を評価することが最重要である。 本稿では,これらのシステムに対する評価手法が根本的に不適切であり,AIに関連するリスクや潜在的なリスクを高めることを主張する。 AIシステムを評価する方法には改革が必要であり、多種多様な知能を評価する長年の伝統を持つ我々のアプローチにインスピレーションを得るために、認知科学に目を向けるべきである、と私は主張する。 我々は、認知にインスパイアされたアプローチを汎用AIシステムに適用する上で、克服すべき課題のいくつかを特定し、また、新たな領域である"Evals"を分析する。 論文は、AI評価を洗練させる有望な研究経路を特定し、安全なAIシステムの開発に寄与する厳格な科学領域へと前進させることで、結論付けている。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Particip-AI: A Democratic Surveying Framework for Anticipating Future AI Use Cases, Harms and Benefits [54.648819983899614]
  汎用AIは、一般大衆がAIを使用してそのパワーを利用するための障壁を下げたようだ。 本稿では,AI利用事例とその影響を推測し,評価するためのフレームワークであるPartICIP-AIを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T19:12:37Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• AI Hazard Management: A framework for the systematic management of root causes for AI risks [0.0]
  本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。 AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。 総合的な最先端分析からAIハザードリストを構築する。
  論文  参考訳（メタデータ） (2023-10-25T15:55:50Z)
• Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
  AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。 リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。 本稿では,定量的AIリスクアセスメントの概念について考察する。
  論文  参考訳（メタデータ） (2022-09-13T21:47:25Z)
• Trustworthy AI: From Principles to Practices [44.67324097900778]
  多くの現在のAIシステムは、認識不能な攻撃に脆弱で、表現不足なグループに偏り、ユーザのプライバシ保護が欠如していることが判明した。 このレビューでは、信頼できるAIシステムを構築するための包括的なガイドとして、AI実践者に提供したいと思っています。 信頼に値するAIに対する現在の断片化されたアプローチを統合するために、AIシステムのライフサイクル全体を考慮した体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-04T03:20:39Z)
• Know Your Model (KYM): Increasing Trust in AI and Machine Learning [4.93786553432578]
  信頼度の各要素を分析し、最適なAI機能を確保するために活用できる20のガイドラインのセットを提供します。 このガイドラインは、信頼性が証明可能で、実証可能であること、実装に依存しないこと、あらゆる分野のあらゆるAIシステムに適用可能であることを保証する。
  論文  参考訳（メタデータ） (2021-05-31T14:08:22Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data Proceedings [8.445274192818825]
  予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。 このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。 広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
  論文  参考訳（メタデータ） (2020-01-15T15:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。