論文の概要: Who Can Evaluate AI Independently? A Framework for Analysing Evaluation Infrastructure
- arxiv url: http://arxiv.org/abs/2611.08134v1
- Date: Thu, 05 Nov 2026 15:00:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.552443
- Title: Who Can Evaluate AI Independently? A Framework for Analysing Evaluation Infrastructure
- Title（参考訳）: AIを独立して評価できるのは誰か? 評価インフラストラクチャの分析のためのフレームワーク
- Abstract要約: 本稿では,AIシステムを独立して評価できる,インフラストラクチャのアレンジメントが,その権限を分散する方法について検討する。
我々は、12のアフリカAI評価プロジェクト(2022-2025)にPAAIを適用し、10の加盟機関の文書化された役割について述べる。
抽出的コラボレーション、依存的イノベーション、制約付き独立という3つの反復的な構成を特定します。
- 参考スコア（独自算出の注目度）: 5.314484707646181
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI evaluation is increasingly central to AI safety and governance, yet taking part in an evaluation does not by itself confer authority over its design, its execution or the resources it depends on. This paper examines how infrastructure arrangements distribute that authority, and so shape who can evaluate AI systems independently. Drawing on Science and Technology Studies, political economy and applied evaluation standards, we introduce PAAI (Power, Access, Adequacy, Independence), a framework for examining who controls evaluation infrastructure, the terms on which it is available, whether it is adequate to the evaluation's purpose and what autonomy it supports. We apply PAAI to twelve African AI evaluation projects (2022-2025) and to the documented roles of all ten member institutes in the three published joint testing exercises of the international network of AI Safety Institutes. We identify three recurring configurations: extractive collaboration, dependent innovation and constrained independence. African actors often contribute data, language expertise and task design while external institutions retain authority over infrastructure and evaluation frameworks; design authority without infrastructure authority never yielded more than partial independence. The joint testing exercises show a similar division among mostly high-income members: the institutes that led each exercise also ran the models, while Kenya, the network's only African member, moved from annotation to task design with no documented model execution. Participation in evaluation does not by itself produce evaluative authority. For evaluation to serve as a credible governance mechanism, access must come with control over priorities, methods, publication and continuity.
- Abstract（参考訳）: AI評価は、AIの安全性とガバナンスにおいてますます重要になっているが、評価に参加することは、その設計、実行、あるいは依存するリソースに関する権限をそれ自体に委譲するものではない。
本稿では,AIシステムを独立して評価できる,インフラストラクチャのアレンジメントが,その権限を分散する方法について検討する。
本稿では, 科学技術研究, 政治経済, 評価基準を参考に, 評価基盤を誰が管理するか, 利用可能な条件, 評価の目的に適しているか, 支援する自律性について検討する枠組みであるPAAI(Power, Access, Adequacy, Independence)を紹介する。
我々は、12のアフリカAI評価プロジェクト(2022-2025)にPAAIを適用し、AI安全研究所の国際ネットワークの3つの共同試験演習において、メンバー10の機関の文書化された役割について述べる。
抽出的コラボレーション、依存的イノベーション、制約付き独立という3つの反復的な構成を特定します。
アフリカ人アクターは、しばしばデータ、言語に関する専門知識、タスクデザインに貢献するが、外部機関はインフラや評価フレームワークに関する権限を保持する。
各演習を主導した機関もモデルを実行し、一方、ネットワークで唯一のアフリカ人メンバーであるケニアは、注釈からタスクデザインに移行し、モデル実行は文書化されていない。
評価への参加はそれ自体が評価の権威を生み出すわけではない。
信頼できるガバナンスメカニズムとして評価するためには、アクセスは優先順位、方法、公開、継続性に対して制御されなければならない。
関連論文リスト
- Embedded Assessments for Frontier AI [36.838340476945426]
サードパーティによるフロンティアAIの評価は、デプロイ前に外部インターフェースを通じてモデルをテストしている。
フロンティアAI企業のCEOは、組み込みアセスメントのホスティングを約束している。
これらの評価によって、独立した評価担当者は、開発者の内部システム、スタッフ、ドキュメントにアクセスできるようになる。
論文 参考訳（メタデータ） (2026-09-21T21:10:39Z) - Next-Billion AI Index: The compass for AI utility and adoption in the global majority [24.520947240933477]
本稿では,Next Billion AI Index(nexbax)を紹介する。
これは、AIユーティリティーの同等な決定要因として、経済的な生存性、運用上のデプロイ性、ガバナンスの整合性を扱う最初の診断フレームワークである。
私たちは、創業者、開発者、製品リーダー、そして次世代市場向けのAIシステムを構築する技術実践者との11の半構造化インタビューを通じて、フォーマティブな専門家評価を行います。
論文 参考訳（メタデータ） (2026-05-29T21:01:42Z) - Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems [0.0]
多くのパブリックセクタ人工知能システムは、モデル開発の時点では失敗し、デプロイの時点で失敗する。
既存の責任あるAIとモデル評価フレームワークは価値があるが、主にモデル、データセット、開発者側のプロセスを評価する。
Institutional Alignment Readiness (IAR)は,公共システムにおける配置準備性を評価するための5次元フレームワークである。
論文 参考訳（メタデータ） (2026-05-17T00:11:09Z) - Designing AI-Resilient Assessments Using Interconnected Problems: A Theoretically Grounded and Empirically Validated Framework [0.0]
生成AIの急速な採用により、コンピューティング教育における従来のモジュラーアセスメントが損なわれている。
本稿では,AI-レジリエントアセスメントを設計するための理論的基盤となる枠組みを提案する。
論文 参考訳（メタデータ） (2025-12-11T15:53:19Z) - Trustworthy Orchestration Artificial Intelligence by the Ten Criteria with Control-Plane Governance [1.9691447018712314]
本稿では,信頼に値するオーケストレーションAIの10基準について述べる。
人間の入力、セマンティックコヒーレンス、監査、証明の整合性を統合されたコントロール・パネルアーキテクチャに統合する。
論文 参考訳（メタデータ） (2025-12-11T05:49:26Z) - QOC DAO - Stepwise Development Towards an AI Driven Decentralized Autonomous Organization [0.0]
本稿では、分散型自治組織(DAO)における意思決定改善のための構造的アプローチを紹介する。
人間の主導による評価から、完全に自律的でAI駆動のプロセスへと進化する、段階的なガバナンスフレームワークを概説する。
論文 参考訳（メタデータ） (2025-11-10T12:55:23Z) - Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations [37.727313946463276]
最初の包括的な分析は、広範囲のモデル開発者を対象にした、サードパーティとサードパーティのソーシャルインパクト評価レポートである。
ファーストパーティの報告は希少で、しばしば表面的で、環境への影響や偏見といった重要な分野では時間が経つにつれて減少している。
第三者評価者は、偏見、有害なコンテンツ、パフォーマンスの格差を広くより厳格にカバーしている。
論文 参考訳（メタデータ） (2025-11-06T14:25:32Z) - Safe and Certifiable AI Systems: Concepts, Challenges, and Lessons Learned [45.44933002008943]
この白書は、T"UV AUSTRIA Trusted AIフレームワークを提示する。
エンド・ツー・エンドの監査カタログであり、機械学習システムの評価と認定のための方法論である。
セキュアなソフトウェア開発、機能要件、倫理とデータプライバシという3つの柱の上に構築されているのは、EU AI Actの高レベルの義務を、特定かつテスト可能な基準に翻訳するものです。
論文 参考訳（メタデータ） (2025-09-08T17:52:08Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Artificial Intelligence in Government: Why People Feel They Lose Control [44.99833362998488]
行政における人工知能の利用は急速に拡大している。
AIはより効率と応答性を約束するが、政府機能への統合は公正性、透明性、説明責任に関する懸念を提起する。
この記事では、デリゲートの特別事例として、AI導入に関するプリンシパル・エージェント理論を適用します。
論文 参考訳（メタデータ） (2025-05-02T07:46:41Z) - Evaluation Framework for AI Systems in "the Wild" [37.48117853114386]
ジェネレーティブAI(GenAI)モデルは、業界全体で重要になっているが、現在の評価手法は、その普及に適応していない。
従来の評価は、しばしばベンチマークや固定データセットに依存し、実世界のパフォーマンスを反映しないことが多い。
本稿では,実世界のGenAIシステムを評価するための包括的枠組みを提案する。
論文 参考訳（メタデータ） (2025-04-23T14:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。