論文の概要: Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for
AI Accountability
- arxiv url: http://arxiv.org/abs/2311.13158v3
- Date: Thu, 18 Jan 2024 04:19:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 13:27:26.261296
- Title: Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for
AI Accountability
- Title(参考訳): 責任あるAIメトリックのカタログに向けて:AIアカウンタビリティのためのメトリクスのコレクション
- Authors: Boming Xia, Qinghua Lu, Liming Zhu, Sung Une Lee, Yue Liu, Zhenchang
Xing
- Abstract要約: 本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。
我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
- 参考スコア(独自算出の注目度): 28.67753149592534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Intelligence (AI), particularly through the advent of large-scale
generative AI (GenAI) models such as Large Language Models (LLMs), has become a
transformative element in contemporary technology. While these models have
unlocked new possibilities, they simultaneously present significant challenges,
such as concerns over data privacy and the propensity to generate misleading or
fabricated content. Current frameworks for Responsible AI (RAI) often fall
short in providing the granular guidance necessary for tangible application,
especially for Accountability-a principle that is pivotal for ensuring
transparent and auditable decision-making, bolstering public trust, and meeting
increasing regulatory expectations. This study bridges the accountability gap
by introducing our effort towards a comprehensive metrics catalogue, formulated
through a systematic multivocal literature review (MLR) that integrates
findings from both academic and grey literature. Our catalogue delineates
process metrics that underpin procedural integrity, resource metrics that
provide necessary tools and frameworks, and product metrics that reflect the
outputs of AI systems. This tripartite framework is designed to operationalize
Accountability in AI, with a special emphasis on addressing the intricacies of
GenAI.
- Abstract(参考訳): 人工知能(AI)、特にLarge Language Models(LLMs)のような大規模生成AI(GenAI)モデルの出現により、現代技術における変革的要素となった。
これらのモデルは新たな可能性を解き放ちましたが、データプライバシに関する懸念や、誤解を招くようなコンテンツを生成する傾向など、重大な課題も提示しています。
責任あるai(rai)のための現在のフレームワークは、特に説明責任のために、具体的なアプリケーションに必要な粒度のガイダンスを提供するのに不足することが多い。
本研究は,学術文献と灰色文献の両方の知見を統合した,体系的多言語文献レビュー(MLR)を通じて策定された総合的なメトリクスカタログへの取り組みによって,説明責任ギャップを埋めるものである。
我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
この三部構成のフレームワークは、AIのアカウンタビリティを運用するために設計されており、特にGenAIの複雑さに対処することに焦点を当てている。
関連論文リスト
- Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳(メタデータ) (2023-12-22T17:57:57Z) - Towards Message Brokers for Generative AI: Survey, Challenges, and
Opportunities [4.49465498333472]
Generative Artificial Intelligence(GenAI)はますます普及し、多様なアプリケーションにまたがってリーチを広げている。
この採用の増加により、データ中心のGenAIモデルの需要が大幅に増加した。
このニーズの中心はメッセージブローカであり、さまざまなシステムコンポーネント内のデータ転送に不可欠なチャネルとして機能します。
論文 参考訳(メタデータ) (2023-12-22T12:30:18Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution [48.92960579675478]
我々は知識認識型言語モデル属性(KaLMA)の新しいタスクを定義する。
まず、構造化されていないテキストから知識グラフ(KG)へ属性ソースを拡張する。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳(メタデータ) (2023-10-09T11:45:59Z) - Enhancing Trust in LLM-Based AI Automation Agents: New Considerations
and Future Challenges [2.6212127510234797]
プロセス自動化の分野では、AIベースのエージェントの新世代が登場し、複雑なタスクの実行が可能になった。
本稿では、既存の文献で議論されているAIエージェントの信頼性の主な側面を分析し、この新世代の自動化エージェントに関連する具体的な考察と課題を特定する。
論文 参考訳(メタデータ) (2023-08-10T07:12:11Z) - Guideline for Trustworthy Artificial Intelligence -- AI Assessment
Catalog [0.0]
AIアプリケーションとそれに基づくビジネスモデルが、高品質な標準に従って開発されている場合にのみ、その潜在能力を最大限に発揮できることは明らかです。
AIアプリケーションの信頼性の問題は非常に重要であり、多くの主要な出版物の主題となっている。
このAIアセスメントカタログは、まさにこの点に対応しており、2つのターゲットグループを対象としている。
論文 参考訳(メタデータ) (2023-06-20T08:07:18Z) - Evaluating explainability for machine learning predictions using
model-agnostic metrics [0.0]
本稿では,その特徴からAIモデル予測が容易に説明できる程度を定量化する新しい指標を提案する。
我々のメトリクスは、説明可能性の異なる側面をスカラーに要約し、モデル予測のより包括的な理解を提供する。
論文 参考訳(メタデータ) (2023-02-23T15:28:36Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - Responsible AI Pattern Catalogue: A Collection of Best Practices for AI
Governance and Engineering [20.644494592443245]
MLR(Multivocal Literature Review)の結果に基づく応答性AIパターンカタログを提案する。
原則やアルゴリズムのレベルにとどまらず、私たちは、AIシステムのステークホルダーが実際に行なえるパターンに注目して、開発済みのAIシステムがガバナンスとエンジニアリングライフサイクル全体を通して責任を負うようにします。
論文 参考訳(メタデータ) (2022-09-12T00:09:08Z) - Automated Machine Learning, Bounded Rationality, and Rational
Metareasoning [62.997667081978825]
有界合理性の観点から、自動機械学習(AutoML)と関連する問題を考察する。
リソース境界の下でアクションを取るには、エージェントがこれらのリソースを最適な方法で利用する方法を反映する必要がある。
論文 参考訳(メタデータ) (2021-09-10T09:10:20Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。