論文の概要: A First-Principles Based Risk Assessment Framework and the IEEE P3396 Standard
- arxiv url: http://arxiv.org/abs/2504.00091v1
- Date: Mon, 31 Mar 2025 18:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:23:36.385766
- Title: A First-Principles Based Risk Assessment Framework and the IEEE P3396 Standard
- Title（参考訳）: 第一原理に基づくリスク評価フレームワークとIEEE P3396標準
- Authors: Richard J. Tong, Marina Cortês, Jeanine A. DeFalco, Mark Underwood, Janusz Zalewski,
- Abstract要約: 生成人工知能(AI)は、コンテンツ作成と意思決定支援において前例のない自動化を可能にしている。
本稿では、IEEE P3396 Recommended Practice for AI Risk, Safety, Trustworthiness, and Responsibilityの基礎となる第一原理リスク評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Generative Artificial Intelligence (AI) is enabling unprecedented automation in content creation and decision support, but it also raises novel risks. This paper presents a first-principles risk assessment framework underlying the IEEE P3396 Recommended Practice for AI Risk, Safety, Trustworthiness, and Responsibility. We distinguish between process risks (risks arising from how AI systems are built or operated) and outcome risks (risks manifest in the AI system's outputs and their real-world effects), arguing that generative AI governance should prioritize outcome risks. Central to our approach is an information-centric ontology that classifies AI-generated outputs into four fundamental categories: (1) Perception-level information, (2) Knowledge-level information, (3) Decision/Action plan information, and (4) Control tokens (access or resource directives). This classification allows systematic identification of harms and more precise attribution of responsibility to stakeholders (developers, deployers, users, regulators) based on the nature of the information produced. We illustrate how each information type entails distinct outcome risks (e.g. deception, misinformation, unsafe recommendations, security breaches) and requires tailored risk metrics and mitigations. By grounding the framework in the essence of information, human agency, and cognition, we align risk evaluation with how AI outputs influence human understanding and action. The result is a principled approach to AI risk that supports clear accountability and targeted safeguards, in contrast to broad application-based risk categorizations. We include example tables mapping information types to risks and responsibilities. This work aims to inform the IEEE P3396 Recommended Practice and broader AI governance with a rigorous, first-principles foundation for assessing generative AI risks while enabling responsible innovation.
- Abstract（参考訳）: 生成人工知能(AI)は、コンテンツ作成と意思決定支援において前例のない自動化を可能にしているが、同時に新たなリスクも生じている。
本稿では、IEEE P3396 Recommended Practice for AI Risk, Safety, Trustworthiness, and Responsibilityの基礎となる第一原理リスク評価フレームワークを提案する。
私たちは、プロセスリスク(AIシステムの作り方や運用方法から生じるリスク)と結果リスク(AIシステムのアウトプットと実際の影響に現れるリスク)を区別し、生成的なAIガバナンスは結果リスクを優先すべきである、と論じています。
アプローチの中心は,AI生成出力を,(1)知覚レベル情報,(2)知識レベル情報,(3)意思決定/行動計画情報,(4)制御トークン(アクセスまたはリソースディレクティブ)の4つの基本カテゴリに分類する情報中心オントロジーである。
この分類は、生産された情報の性質に基づいて、害の体系的な識別と利害関係者(開発者、デプロイ者、ユーザ、規制官)への責任のより正確な帰属を可能にする。
それぞれの情報タイプが、どのようにして異なる結果のリスク(詐欺、誤報、安全でないレコメンデーション、セキュリティ違反など)を伴い、適切なリスクメトリクスと緩和を必要とするかを説明します。
この枠組みを情報、人的エージェンシー、認知の本質に根ざすことで、リスク評価とAIの出力が人間の理解と行動にどのように影響するかを一致させる。
その結果は、幅広いアプリケーションベースのリスク分類とは対照的に、明確な説明責任と目標とする保護を支援する、AIリスクに対する原則化されたアプローチである。
情報タイプをリスクと責任にマッピングする例表も含んでいます。
この研究は、IEEE P3396レコメンデーションプラクティスとより広範なAIガバナンスに、責任あるイノベーションを実現しつつ、生成するAIリスクを評価するための厳格で第一原理の基盤で通知することを目的としている。
関連論文リスト
- Fully Autonomous AI Agents Should Not be Developed [58.88624302082713]
本稿では,完全自律型AIエージェントを開発すべきではないと主張している。
この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。
分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
論文 参考訳（メタデータ） (2025-02-04T19:00:06Z) - Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳（メタデータ） (2024-10-25T07:53:32Z) - The AI Risk Repository: A Comprehensive Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence [35.77247656798871]
人工知能(AI)によって引き起こされるリスクは、学者、監査人、政策立案者、AI企業、そして一般大衆にかなり懸念されている。
AIリスクに対する共通理解の欠如は、包括的に議論し、研究し、それに反応する能力を妨げる可能性がある。
本稿では、共通の参照フレームとして機能するAIリスクリポジトリを作成することで、このギャップに対処する。
論文 参考訳（メタデータ） (2024-08-14T10:32:06Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - AI Risk Categorization Decoded (AIR 2024): From Government Regulations to Corporate Policies [88.32153122712478]
我々は4階層の分類に分類された314のユニークなリスクカテゴリを特定した。
最高レベルでは、この分類はシステム・アンド・オペレーショナル・リスク、コンテンツ・セーフティ・リスク、社会的なリスク、法と権利のリスクを含む。
我々は、セクター間の情報共有と、生成型AIモデルとシステムのリスク軽減におけるベストプラクティスの推進を通じて、AIの安全性を向上することを目指している。
論文 参考訳（メタデータ） (2024-06-25T18:13:05Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - AI and the Iterable Epistopics of Risk [1.26404863283601]
AIが社会に提示するリスクは、一般的な計算によって管理可能であると広く理解されている。
本稿では、規制当局、開発者、サイバーセキュリティの専門家によるリスクの把握と管理について詳述する。
論文 参考訳（メタデータ） (2024-04-29T13:33:22Z) - AI Hazard Management: A framework for the systematic management of root
causes for AI risks [0.0]
本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。
AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。
総合的な最先端分析からAIハザードリストを構築する。
論文 参考訳（メタデータ） (2023-10-25T15:55:50Z) - AI Risk Profiles: A Standards Proposal for Pre-Deployment AI Risk
Disclosures [0.8702432681310399]
下流の意思決定をガイドできるリスクプロファイリング標準を提案する。
この基準は、提案したAIリスクの分類に基づいており、文献で提案されるさまざまなリスクの高度な分類を反映している。
我々はこの方法論を,公開情報を用いた多数の著名なAIシステムに適用する。
論文 参考訳（メタデータ） (2023-09-22T20:45:15Z) - Foveate, Attribute, and Rationalize: Towards Physically Safe and
Trustworthy AI [76.28956947107372]
包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。
安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。
実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
論文 参考訳（メタデータ） (2022-12-19T17:51:47Z) - Actionable Guidance for High-Consequence AI Risk Management: Towards
Standards Addressing AI Catastrophic Risks [12.927021288925099]
人工知能(AI)システムは、社会規模で非常に高い、または破滅的な結果をもたらす事象のリスクを提示することができる。
NISTはAIリスク評価と管理に関する自主的なガイダンスとして、AI RMF(AI Artificial Intelligence Risk Management Framework)を開発している。
我々は、非常に高い、または破滅的な結果のイベントのリスクを特定し、管理することに焦点を当てた、行動可能なガイダンスの詳細な推奨を提供する。
論文 参考訳（メタデータ） (2022-06-17T18:40:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。