論文の概要: The Promises and Limitations of Evaluation-Based AI Governance: Evidence from Expert Interviews
- arxiv url: http://arxiv.org/abs/2611.00465v1
- Date: Fri, 30 Oct 2026 23:39:48 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:15:33.053904
- Title: The Promises and Limitations of Evaluation-Based AI Governance: Evidence from Expert Interviews
- Title（参考訳）: 評価に基づくAIガバナンスの約束と限界:専門家インタビューからの証拠
- Abstract要約: 我々は、フロンティアAI評価が社会的レベルのAIリスクをいかに軽減するかを検討するために、37の半構造化専門家インタビューを行った。
以上の結果から,「評価に基づくガバナンス」には,評価に依存するリスク低減戦略を損なう基礎的ギャップが存在する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 6.479043882558212
- License:
- Abstract: We conducted 37 semi-structured expert interviews to examine how frontier AI evaluations reduce societal-level AI risks. Evaluations have become central to AI risk governance, despite their shortcomings being widely critiqued. Still, the case for how they reduce risks in practice remains largely implicit. Drawing on expert accounts, we reconstruct this case by identifying the mechanisms through which evaluations are expected to reduce risk, the assumptions underpinning those mechanisms, and the challenges those assumptions face. Our findings suggest that `evaluation-based governance' could contain foundational gaps which undermine risk-reduction strategies that depend on evaluations. Using thematic analysis, we identified three key pathways through which evaluations could reduce risk: by (i) making societal-level risks concrete to decision-makers and the public (raised in 18 out of 37 interviews), (ii) serving as a basis for governance commitments and regulation (18), and (iii) incentivizing a better risk culture within AI companies (16). However, these pathways often depended on shared assumptions that participants themselves doubted. The main challenges included, in order of frequency: (i) diminishing informativeness of evaluation results as model capabilities improve (21), (ii) measurement limitations that may be inherent to the evaluation paradigm (18), (iii) a lack of guarantees that evaluation results will be acted upon by companies or governments (16), and (iv) the degree of control and discretion AI companies retain over evaluation design, disclosure, and response (12). Participants also noted that evaluation-based governance could prove counterproductive, by functioning as a permission structure for developers' continued capability improvement (4). We finish by discussing the implications of our findings for evaluation-based governance, and what would improve its prospects.
- Abstract（参考訳）: 我々は、フロンティアAI評価が社会的レベルのAIリスクをいかに軽減するかを検討するために、37の半構造化専門家インタビューを行った。
評価はAIのリスク管理の中心となっているが、その欠点は広く批判されている。
それでも、実際にリスクを減らす方法のケースは、大半が暗黙的だ。
専門家の勘定に基づいて、リスク低減のための評価が期待されるメカニズム、それらのメカニズムを支える仮定、そしてそれらの仮定が直面する課題を特定することで、このケースを再構築する。
その結果,「評価に基づくガバナンス」は,評価に依存するリスク低減戦略を損なう基礎的ギャップを含む可能性が示唆された。
テーマ分析を用いて,評価によってリスクを低減できる3つの重要な経路を同定した。
一 意思決定者及び国民に社会的リスクを具体化する(37件中18件)
二 統治の約束及び規制の基礎となるもの(18)及び
(3)AI企業におけるより良いリスク文化のインセンティブ(16。
しかし、これらの経路はしばしば、参加者自身が疑う共有仮定に依存していた。
主な課題は、周波数順である。
一 モデル能力の向上による評価結果の伝達力の低下(21)
二 評価パラダイム固有の測定限界(18)
三 企業又は政府による評価結果の実施の保証の欠如(16)
(4)AI企業は、評価設計、開示及び対応を監督する(12)。
参加者は、開発者による継続的な能力向上のための許可構造として機能することによって、評価ベースのガバナンスが非生産的であることを証明できる、と指摘する(4)。
評価に基づくガバナンスに対する我々の研究結果の影響と、その見通しをどう改善するかを議論する。
関連論文リスト
- Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework [63.74295981594549]
大規模言語モデル(LLM)は、自身の目的を達成する行動に関与している。
これには、詐欺(故意に誤解を招くユーザや評価者)、評価ゲーム(安全テスト中のパフォーマンスを戦略的に操作する)、報酬ハッキングなどが含まれる。
自動行動リスク評価のための分類駆動型エージェントフレームワークであるESRRSimを紹介する。
論文 参考訳（メタデータ） (2026-04-23T23:44:01Z) - Agentic AI for Commercial Insurance Underwriting with Adversarial Self-Critique [0.0]
本研究は, 対向的自己批判機構を組み込んだ意思決定陰性, ループ内エージェントシステムを提案する。
このシステム内では、批評家エージェントが、人間レビュアーに勧告を提出する前に、主エージェントの結論に異議を唱える。
この研究は、決定陰性エージェントによる潜在的なエラーを特徴付けるために、障害モードの正式な分類法を開発する。
論文 参考訳（メタデータ） (2026-01-21T05:51:27Z) - Evaluating AI Companies' Frontier Safety Frameworks: Methodology and Results [0.0]
12のAI企業が、先進的なAIシステムによる破滅的なリスクを管理するためのアプローチを概説する、フロンティア安全フレームワークを公開した。
我々は,安全クリティカル産業から確立されたリスク管理原則に基づく65基準評価手法を開発した。
リスク識別、リスク分析と評価、リスク処理、リスクガバナンスという4つの側面の12のフレームワークを評価します。
論文 参考訳（メタデータ） (2025-12-01T00:55:18Z) - RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。
リスク概念空間を再構築する理論的枠組みを導入する。
マルチエージェント協調評価フレームワークRADARを提案する。
論文 参考訳（メタデータ） (2025-09-28T09:35:32Z) - Securing External Deeper-than-black-box GPAI Evaluations [49.1574468325115]
本稿では,汎用AI(GPAI)モデルの安全かつ効果的な外部評価を行う上での課題と可能性について検討する。
サイズ、能力、到達度、付随するリスクの指数的な増加により、説明責任、安全性、および公的な信頼を保証するには、従来のブラックボックスメソッドを超えるフレームワークが必要である。
論文 参考訳（メタデータ） (2025-03-10T16:13:45Z) - What AI evaluations for preventing catastrophic risks can and cannot do [2.07180164747172]
評価は、現在のパラダイムでは克服できない基本的な制限に直面している、と我々は主張する。
これは、評価が価値のあるツールである一方で、AIシステムが安全であることを保証する主要な方法として、評価に頼るべきではないことを意味します。
論文 参考訳（メタデータ） (2024-11-26T18:00:36Z) - Reasons to Doubt the Impact of AI Risk Evaluations [0.0]
本稿では、評価がAIリスクに対する理解と、そのリスクを緩和する能力を大幅に改善するかどうかを問う。
評価プラクティスの改善と、AIラボ、外部評価者、規制当局、学術研究者のための12の推奨事項を結論付けている。
論文 参考訳（メタデータ） (2024-08-05T15:42:51Z) - Model evaluation for extreme risks [46.53170857607407]
AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。
モデル評価が極端なリスクに対処するために重要である理由を説明します。
論文 参考訳（メタデータ） (2023-05-24T16:38:43Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [7.35411010153049]
リスクを減らす最善の方法は、包括的なAIライフサイクルガバナンスを実装することです。
リスクは技術コミュニティのメトリクスを使って定量化できます。
本稿では,このようなアプローチの機会,課題,潜在的影響に焦点をあてて,これらの課題について考察する。
論文 参考訳（メタデータ） (2022-09-13T21:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。