論文の概要: Evaluating a Methodology for Increasing AI Transparency: A Case Study

• arxiv url: http://arxiv.org/abs/2201.13224v1
• Date: Mon, 24 Jan 2022 20:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-06 08:34:15.504177
• Title: Evaluating a Methodology for Increasing AI Transparency: A Case Study
• Title（参考訳）: aiの透明性向上のための方法論の評価 - ケーススタディ
• Authors: David Piorkowski, John Richards, Michael Hind
• Abstract要約: 人工知能の潜在的な害に対する懸念が高まる中、社会はAIモデルとシステムがどのように作成され、使用されるかについて、より透明性を求めるようになった。 これらの懸念に対処するため、いくつかの取り組みが、モデル開発者が答えるべき質問を含むドキュメンテーションテンプレートを提案している。 多様なドキュメントコンシューマのニーズをカバーできるテンプレートはひとつもありません。
• 参考スコア（独自算出の注目度）: 9.262092738841979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In reaction to growing concerns about the potential harms of artificial intelligence (AI), societies have begun to demand more transparency about how AI models and systems are created and used. To address these concerns, several efforts have proposed documentation templates containing questions to be answered by model developers. These templates provide a useful starting point, but no single template can cover the needs of diverse documentation consumers. It is possible in principle, however, to create a repeatable methodology to generate truly useful documentation. Richards et al. [25] proposed such a methodology for identifying specific documentation needs and creating templates to address those needs. Although this is a promising proposal, it has not been evaluated. This paper presents the first evaluation of this user-centered methodology in practice, reporting on the experiences of a team in the domain of AI for healthcare that adopted it to increase transparency for several AI models. The methodology was found to be usable by developers not trained in user-centered techniques, guiding them to creating a documentation template that addressed the specific needs of their consumers while still being reusable across different models and use cases. Analysis of the benefits and costs of this methodology are reviewed and suggestions for further improvement in both the methodology and supporting tools are summarized.
• Abstract（参考訳）: 人工知能(AI)の潜在的な害に対する懸念が高まる中、社会はAIモデルやシステムの作成と利用についてより透明性を求めるようになった。 これらの懸念に対処するために、モデル開発者が答えるべき質問を含むドキュメントテンプレートを提案している。 これらのテンプレートは有用な出発点を提供するが、多様なドキュメンテーションコンシューマのニーズをカバーできる単一のテンプレートは存在しない。 しかし、原則として、本当に有用なドキュメントを生成するために反復可能な方法論を作成することは可能である。 Richardsら。 25] 特定のドキュメントのニーズを特定し,それらのニーズに対応するテンプレートを作成するための方法論を提案しました。 これは有望な提案であるが、評価されていない。 本稿では、いくつかのAIモデルの透明性を高めるために、医療分野におけるAIチームの経験を報告し、実際にこのユーザ中心の方法論を初めて評価する。 この方法論は、ユーザ中心のテクニックを訓練していない開発者が使用でき、異なるモデルやユースケースで再利用しながら、コンシューマの特定のニーズに対処するドキュメントテンプレートの作成をガイドする。 本手法の便益と費用を概説し,方法論と支援ツールの双方についてさらに改善するための提案を行う。

関連論文リスト

• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Establishing Knowledge Preference in Language Models [80.70632813935644]
  言語モデルは事前学習を通じて大量の事実知識を符号化することが知られている。 このような知識はユーザーからの要求に応えるには不十分かもしれない。 進行中のイベントに関する質問に答える場合には、最新のニュース記事を使って回答を更新する必要がある。 ある事実がモデルで編集されると、更新された事実はモデルによって学習されたすべての事前知識をオーバーライドする。
  論文  参考訳（メタデータ） (2024-07-17T23:16:11Z)
• Documenting Ethical Considerations in Open Source AI Models [8.517777178514242]
  本研究では,開発者がオープンソースAIモデルの倫理的側面を実際にどのように文書化しているかを検討する。 2,347の文書の最初の集合をフィルタリングした後、265の関連文書を特定した。 モデル行動リスク、モデルユースケース、モデルリスク軽減の6つのテーマが浮かび上がっています。
  論文  参考訳（メタデータ） (2024-06-26T05:02:44Z)
• Quantitative Assurance and Synthesis of Controllers from Activity Diagrams [4.419843514606336]
  確率的モデル検査は、定性的および定量的な性質を自動検証するために広く用いられている形式的検証手法である。 これにより、必要な知識を持っていない研究者やエンジニアにはアクセスできない。 本稿では,確率時間の新しいプロファイル,品質アノテーション,3つのマルコフモデルにおけるADの意味論的解釈,アクティビティ図からPRISM言語への変換ルールのセットなど,ADの総合的な検証フレームワークを提案する。 最も重要なことは、モデルをベースとした手法を用いて、完全自動検証のための変換アルゴリズムを開発し、QASCADと呼ばれるツールで実装したことです。
  論文  参考訳（メタデータ） (2024-02-29T22:40:39Z)
• Use case cards: a use case reporting framework inspired by the European AI Act [0.0]
  ユースケースの文書化のための新しいフレームワークを提案する。 他のドキュメンテーションの方法論とは異なり、私たちはAIシステムの目的と運用に重点を置いています。 提案された枠組みは、関連するEU政策の専門家と科学者のチームを含む共同設計プロセスの結果である。
  論文  参考訳（メタデータ） (2023-06-23T15:47:19Z)
• Towards Human-Interpretable Prototypes for Visual Assessment of Image Classification Models [9.577509224534323]
  人間に似た推論プロセスに基づいて、解釈可能な設計のモデルが必要です。 ProtoPNetは、教師なしの方法で視覚的に意味のあるプロトタイプを発見すると主張している。 これらのプロトタイプはまだ明確な説明に向けて長い道のりがある。
  論文  参考訳（メタデータ） (2022-11-22T11:01:22Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• A Methodology for Creating AI FactSheets [67.65802440158753]
  本稿では、FactSheetsと呼ぶAIドキュメントの形式を作るための方法論について述べる。 方法論の各ステップの中で、検討すべき問題と探求すべき質問について説明する。 この方法論は、透明なAIドキュメントの採用を加速する。
  論文  参考訳（メタデータ） (2020-06-24T15:08:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。