論文の概要: Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for AI Accountability

• arxiv url: http://arxiv.org/abs/2311.13158v3
• Date: Thu, 18 Jan 2024 04:19:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 13:27:26.261296
• Title: Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for AI Accountability
• Title（参考訳）: 責任あるAIメトリックのカタログに向けて:AIアカウンタビリティのためのメトリクスのコレクション
• Authors: Boming Xia, Qinghua Lu, Liming Zhu, Sung Une Lee, Yue Liu, Zhenchang Xing
• Abstract要約: 本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。 我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
• 参考スコア（独自算出の注目度）: 28.67753149592534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial Intelligence (AI), particularly through the advent of large-scale generative AI (GenAI) models such as Large Language Models (LLMs), has become a transformative element in contemporary technology. While these models have unlocked new possibilities, they simultaneously present significant challenges, such as concerns over data privacy and the propensity to generate misleading or fabricated content. Current frameworks for Responsible AI (RAI) often fall short in providing the granular guidance necessary for tangible application, especially for Accountability-a principle that is pivotal for ensuring transparent and auditable decision-making, bolstering public trust, and meeting increasing regulatory expectations. This study bridges the accountability gap by introducing our effort towards a comprehensive metrics catalogue, formulated through a systematic multivocal literature review (MLR) that integrates findings from both academic and grey literature. Our catalogue delineates process metrics that underpin procedural integrity, resource metrics that provide necessary tools and frameworks, and product metrics that reflect the outputs of AI systems. This tripartite framework is designed to operationalize Accountability in AI, with a special emphasis on addressing the intricacies of GenAI.
• Abstract（参考訳）: 人工知能(AI)、特にLarge Language Models(LLMs)のような大規模生成AI(GenAI)モデルの出現により、現代技術における変革的要素となった。 これらのモデルは新たな可能性を解き放ちましたが、データプライバシに関する懸念や、誤解を招くようなコンテンツを生成する傾向など、重大な課題も提示しています。 責任あるai(rai)のための現在のフレームワークは、特に説明責任のために、具体的なアプリケーションに必要な粒度のガイダンスを提供するのに不足することが多い。 本研究は,学術文献と灰色文献の両方の知見を統合した,体系的多言語文献レビュー(MLR)を通じて策定された総合的なメトリクスカタログへの取り組みによって,説明責任ギャップを埋めるものである。 我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。 この三部構成のフレームワークは、AIのアカウンタビリティを運用するために設計されており、特にGenAIの複雑さに対処することに焦点を当てている。

関連論文リスト

• Generative AI in Health Economics and Outcomes Research: A Taxonomy of Key Definitions and Emerging Applications, an ISPOR Working Group Report [12.204470166456561]
  ジェネレーティブAIは、健康経済学と成果研究(HEOR)において大きな可能性を秘めている 生成AIは、HEORに大きな可能性を示し、効率性、生産性を高め、複雑な課題に対する新しいソリューションを提供する。 ファウンデーションモデルは複雑なタスクを自動化する上で有望だが、科学的信頼性、バイアス、解釈可能性、ワークフローの統合には課題が残っている。
  論文  参考訳（メタデータ） (2024-10-26T15:42:50Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Generative AI Agent for Next-Generation MIMO Design: Fundamentals, Challenges, and Vision [76.4345564864002]
  次世代の多重入力多重出力(MIMO)はインテリジェントでスケーラブルであることが期待される。 本稿では、カスタマイズされた特殊コンテンツを生成することができる生成型AIエージェントの概念を提案する。 本稿では、生成AIエージェントをパフォーマンス分析に活用することの有効性を示す2つの説得力のあるケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-13T02:39:36Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Towards Message Brokers for Generative AI: Survey, Challenges, and Opportunities [4.49465498333472]
  Generative Artificial Intelligence(GenAI)はますます普及し、多様なアプリケーションにまたがってリーチを広げている。 この採用の増加により、データ中心のGenAIモデルの需要が大幅に増加した。 このニーズの中心はメッセージブローカであり、さまざまなシステムコンポーネント内のデータ転送に不可欠なチャネルとして機能します。
  論文  参考訳（メタデータ） (2023-12-22T12:30:18Z)
• Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges [2.6212127510234797]
  プロセス自動化の分野では、AIベースのエージェントの新世代が登場し、複雑なタスクの実行が可能になった。 本稿では、既存の文献で議論されているAIエージェントの信頼性の主な側面を分析し、この新世代の自動化エージェントに関連する具体的な考察と課題を特定する。
  論文  参考訳（メタデータ） (2023-08-10T07:12:11Z)
• Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics [0.0]
  我々は,モデル予測が説明できる範囲を定量化するために,6つの異なるモデルに依存しないメトリクスを開発した。 これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を測定する。 分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。
  論文  参考訳（メタデータ） (2023-02-23T15:28:36Z)
• Responsible AI Pattern Catalogue: A Collection of Best Practices for AI Governance and Engineering [20.644494592443245]
  MLR(Multivocal Literature Review)の結果に基づく応答性AIパターンカタログを提案する。 原則やアルゴリズムのレベルにとどまらず、私たちは、AIシステムのステークホルダーが実際に行なえるパターンに注目して、開発済みのAIシステムがガバナンスとエンジニアリングライフサイクル全体を通して責任を負うようにします。
  論文  参考訳（メタデータ） (2022-09-12T00:09:08Z)
• Automated Machine Learning, Bounded Rationality, and Rational Metareasoning [62.997667081978825]
  有界合理性の観点から、自動機械学習(AutoML)と関連する問題を考察する。 リソース境界の下でアクションを取るには、エージェントがこれらのリソースを最適な方法で利用する方法を反映する必要がある。
  論文  参考訳（メタデータ） (2021-09-10T09:10:20Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。