論文の概要: Embedded Assessments for Frontier AI
- arxiv url: http://arxiv.org/abs/2609.25413v1
- Date: Mon, 21 Sep 2026 21:10:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.117626
- Title: Embedded Assessments for Frontier AI
- Title（参考訳）: Frontier AIのための組み込みアセスメント
- Abstract要約: サードパーティによるフロンティアAIの評価は、デプロイ前に外部インターフェースを通じてモデルをテストしている。
フロンティアAI企業のCEOは、組み込みアセスメントのホスティングを約束している。
これらの評価によって、独立した評価担当者は、開発者の内部システム、スタッフ、ドキュメントにアクセスできるようになる。
- 参考スコア（独自算出の注目度）: 36.838340476945426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Third-party evaluations for frontier AI have mostly tested models through external interfaces before deployment. But the risks from frontier AI models depend on how their developers use and govern them internally. Recently, CEOs of frontier AI companies have committed to hosting embedded assessments. These assessments would give independent evaluators employee-like access to a developer's internal systems, staff, and documentation. First, we argue that this can enable deeper and more flexible assessments of risks that depend on internal systems and practices, while providing access under stronger security controls. Then, we examine seven design questions about scope, information gathering, duration, timing, terms of engagement, disclosure, and escalation. We recommend that frontier AI developers begin hosting embedded assessments now, covering at least three areas central to managing risks from internal AI use: internal agent monitoring, internal agent security controls and permissions, and model alignment. To enable meaningful third-party scrutiny, assessments should be continuous, evaluators should publish detailed reports at least quarterly, and clear escalation mechanisms should be established. These recommendations are intended as a starting point, with further steps needed to realize the full potential of embedded assessments.
- Abstract（参考訳）: サードパーティによるフロンティアAIの評価は、デプロイ前に外部インターフェースを通じてモデルをテストしている。
しかし、フロンティアAIモデルのリスクは、開発者が内部でどのように使用し、管理するかに依存する。
最近、フロンティアAI企業のCEOは、組み込みアセスメントのホスティングを約束している。
これらの評価によって、独立した評価担当者は、開発者の内部システム、スタッフ、ドキュメントにアクセスできるようになる。
まず、より強力なセキュリティコントロールの下でアクセスを提供しながら、内部システムやプラクティスに依存するリスクのより深く柔軟な評価を可能にする、と私たちは論じます。
次に, スコープ, 情報収集, 期間, タイミング, エンゲージメント, 開示, エスカレーションに関する7つの設計課題を検討した。
内部エージェント監視、内部エージェントのセキュリティコントロールとパーミッション、モデルアライメントという、内部AI使用によるリスク管理の中心となる3つの領域をカバーして、フロンティアAI開発者が現在、組込みアセスメントのホスティングを開始することを推奨しています。
意味のある第三者の精査を可能にするため、評価は継続し、評価者は少なくとも四半期ごとに詳細な報告書を公表し、明確なエスカレーション機構を確立する必要がある。
これらのリコメンデーションは出発点として意図されており、組み込みアセスメントの完全な可能性を実現するためのさらなるステップが必要である。
関連論文リスト
- Risk Reporting for Developers' Internal AI Model Use [0.0]
このガイドは、企業が内部使用リスクレポートを作成するための調和した標準を提供する。
主に、フロンティアAI開発者の評価チームと安全チームを対象としている。
私たちは、自律的なAIの誤動作とインサイダーの脅威という2つの脅威ベクタを中心に、レポートフレームワークを構築しています。
論文 参考訳（メタデータ） (2026-04-27T20:07:09Z) - Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies [57.521647436515785]
私たちはフロンティアAIの監査を、フロンティアAI開発者の安全とセキュリティに関する主張の厳格な第三者による検証として定義しています。
本稿では,AI保証レベル(AAL-1からAAL-4)について紹介する。
論文 参考訳（メタデータ） (2026-01-16T18:44:09Z) - How frontier AI companies could implement an internal audit function [0.0]
内部監査は、安全管理を強化する上で中心的な役割を果たす可能性がある。
本稿では、フロンティアAI開発者に有意義な保証を提供するために、内部監査機能を設計する方法について検討する。
論文 参考訳（メタデータ） (2025-12-16T20:36:58Z) - AI Behind Closed Doors: a Primer on The Governance of Internal Deployment [33.99253912746621]
内部デプロイメントは、フロンティアAIシステムによるメリットとリスクの主な源泉である。
このレポートは、内部デプロイメントのガバナンスに関する会話を予備して、この欠如に対処することを目的としている。
そこでは,AI研究開発パイプラインに対するAIシステムの内部適用による制御の喪失に関連するリスクについて論じる。
論文 参考訳（メタデータ） (2025-04-16T15:21:13Z) - Securing External Deeper-than-black-box GPAI Evaluations [49.1574468325115]
本稿では,汎用AI(GPAI)モデルの安全かつ効果的な外部評価を行う上での課題と可能性について検討する。
サイズ、能力、到達度、付随するリスクの指数的な増加により、説明責任、安全性、および公的な信頼を保証するには、従来のブラックボックスメソッドを超えるフレームワークが必要である。
論文 参考訳（メタデータ） (2025-03-10T16:13:45Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Frontier AI developers need an internal audit function [0.2913760942403036]
記事は、フロンティア人工知能(AI)開発者は内部監査機能を必要としていると主張している。
AI研究開発の急速な進歩を踏まえ、フロンティアAI開発者はリスクガバナンスを強化する必要がある。
論文 参考訳（メタデータ） (2023-05-26T15:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。