論文の概要: Dynamic Documentation for AI Systems
- arxiv url: http://arxiv.org/abs/2303.10854v1
- Date: Mon, 20 Mar 2023 04:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 16:48:54.432624
- Title: Dynamic Documentation for AI Systems
- Title(参考訳): AIシステムのための動的ドキュメンテーション
- Authors: Soham Mehta, Anderson Rogers and Thomas Krendl Gilbert
- Abstract要約: 本稿では,AIシステムにおける現在のドキュメンテーションプロトコルの限界を示す。
我々は、AIシステムを理解し評価するための新しいパラダイムとして、動的ドキュメンテーションを議論する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI documentation is a rapidly-growing channel for coordinating the design of
AI technologies with policies for transparency and accessibility. Calls to
standardize and enact documentation of algorithmic harms and impacts are now
commonplace. However, documentation standards for AI remain inchoate, and fail
to match the capabilities and social effects of increasingly impactful
architectures such as Large Language Models (LLMs). In this paper, we show the
limits of present documentation protocols, and argue for dynamic documentation
as a new paradigm for understanding and evaluating AI systems. We first review
canonical approaches to system documentation outside the context of AI,
focusing on the complex history of Environmental Impact Statements (EISs). We
next compare critical elements of the EIS framework to present challenges with
algorithmic documentation, which have inherited the limitations of EISs without
incorporating their strengths. These challenges are specifically illustrated
through the growing popularity of Model Cards and two case studies of
algorithmic impact assessment in China and Canada. Finally, we evaluate more
recent proposals, including Reward Reports, as potential components of fully
dynamic AI documentation protocols.
- Abstract(参考訳): AIドキュメントは、透明性とアクセシビリティのポリシーでAIテクノロジの設計を調整するための、急速に成長するチャネルである。
アルゴリズムによる危害や影響のドキュメントを標準化し、実行するための呼び出しが一般的になった。
しかし、AIのドキュメンテーション標準はそのままであり、Large Language Models (LLMs)のようなますます影響力のあるアーキテクチャの能力と社会的効果に合致しない。
本稿では,現在のドキュメンテーションプロトコルの限界を示すとともに,動的ドキュメンテーションをAIシステムの理解と評価のための新しいパラダイムとして論じる。
我々はまず,環境影響文書(EIS)の複雑な歴史に着目し,AIの文脈外のシステムドキュメンテーションへの標準的アプローチをレビューした。
次に、EISフレームワークの重要な要素を比較し、その強みを取り入れずにEISの限界を継承したアルゴリズムドキュメンテーションによる課題を提示する。
これらの課題は、モデルカードの人気の高まりと、中国とカナダにおけるアルゴリズム的影響評価の2つのケーススタディを通じて特に示される。
最後に、完全な動的aiドキュメントプロトコルの潜在的なコンポーネントとして、報奨報告を含む最近の提案を評価する。
関連論文リスト
- Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for
AI Accountability [28.67753149592534]
本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。
我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
論文 参考訳(メタデータ) (2023-11-22T04:43:16Z) - Levels of AGI: Operationalizing Progress on the Path to AGI [67.02053749878078]
このフレームワークは、AGIパフォーマンス、一般性、自律性のレベルを導入します。
このフレームワークが、自動運転のレベルと同等の方法で有効になることを願っています。
論文 参考訳(メタデータ) (2023-11-04T17:44:58Z) - Use case cards: a use case reporting framework inspired by the European
AI Act [0.0]
ユースケースの文書化のための新しいフレームワークを提案する。
他のドキュメンテーションの方法論とは異なり、私たちはAIシステムの目的と運用に重点を置いています。
提案された枠組みは、関連するEU政策の専門家と科学者のチームを含む共同設計プロセスの結果である。
論文 参考訳(メタデータ) (2023-06-23T15:47:19Z) - Guiding AI-Generated Digital Content with Wireless Perception [69.51950037942518]
本稿では,AIGC(AIGC)と無線認識を統合し,デジタルコンテンツ制作の質を向上させる。
このフレームワークは、単語の正確な記述が難しいユーザの姿勢を読み取るために、新しいマルチスケール認識技術を採用し、それをスケルトン画像としてAIGCモデルに送信する。
生産プロセスはAIGCモデルの制約としてユーザの姿勢を強制するため、生成されたコンテンツはユーザの要求に適合する。
論文 参考訳(メタデータ) (2023-03-26T04:39:03Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳(メタデータ) (2022-06-22T05:17:33Z) - On the Importance of Domain-specific Explanations in AI-based
Cybersecurity Systems (Technical Report) [7.316266670238795]
このような決定に対する理解の欠如は、サイバーセキュリティに関連する重要なドメインにおいて大きな欠点となる可能性がある。
本稿では,AIベースのサイバーセキュリティシステムによって生成されたアウトプットを説明するために,デシダラタの提案と議論を行う。 (ii)デシダラタのレンズ下での文献におけるアプローチと,XAIアプローチの検証に一般的に使用される余分な次元の比較分析,および (iii)AIベースのサイバーセキュリティシステムの開発に向けた研究活動の指針となる一般的なアーキテクチャについて述べる。
論文 参考訳(メタデータ) (2021-08-02T22:55:13Z) - Towards an Interface Description Template for AI-enabled Systems [77.34726150561087]
再利用(Reuse)は、システムアーキテクチャを既存のコンポーネントでインスタンス化しようとする、一般的なシステムアーキテクチャのアプローチである。
現在、コンポーネントが当初目的としていたものと異なるシステムで運用する可搬性を評価するために必要な情報の選択をガイドするフレームワークは存在しない。
我々は、AI対応コンポーネントの主情報をキャプチャするインターフェイス記述テンプレートの確立に向けて、現在進行中の作業について述べる。
論文 参考訳(メタデータ) (2020-07-13T20:30:26Z) - A Methodology for Creating AI FactSheets [67.65802440158753]
本稿では、FactSheetsと呼ぶAIドキュメントの形式を作るための方法論について述べる。
方法論の各ステップの中で、検討すべき問題と探求すべき質問について説明する。
この方法論は、透明なAIドキュメントの採用を加速する。
論文 参考訳(メタデータ) (2020-06-24T15:08:59Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。