論文の概要: Interactive Model Cards: A Human-Centered Approach to Model Documentation

• arxiv url: http://arxiv.org/abs/2205.02894v1
• Date: Thu, 5 May 2022 19:19:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 00:47:32.611419
• Title: Interactive Model Cards: A Human-Centered Approach to Model Documentation
• Title（参考訳）: インタラクティブなモデルカード: モデルドキュメンテーションへの人間中心のアプローチ
• Authors: Anamaria Crisan, Margaret Drouhard, Jesse Vig, Nazneen Rajani
• Abstract要約: 自然言語処理のためのディープラーニングモデルは、NLPや機械学習の正式なトレーニングなしに、アナリストによって採用され、デプロイされている。 モデルの詳細と適切な使用を伝達するためのドキュメンテーションは、主にMLやNLPの専門知識を持つ個人向けに調整されている。 我々は、インタラクティブなモデルカードの設計調査を行い、モデルドキュメンテーションを探索し、モデル自体と対話する余地を、従来の静的なモデルカードに拡張した。
• 参考スコア（独自算出の注目度）: 20.880991026743498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models for natural language processing (NLP) are increasingly adopted and deployed by analysts without formal training in NLP or machine learning (ML). However, the documentation intended to convey the model's details and appropriate use is tailored primarily to individuals with ML or NLP expertise. To address this gap, we conduct a design inquiry into interactive model cards, which augment traditionally static model cards with affordances for exploring model documentation and interacting with the models themselves. Our investigation consists of an initial conceptual study with experts in ML, NLP, and AI Ethics, followed by a separate evaluative study with non-expert analysts who use ML models in their work. Using a semi-structured interview format coupled with a think-aloud protocol, we collected feedback from a total of 30 participants who engaged with different versions of standard and interactive model cards. Through a thematic analysis of the collected data, we identified several conceptual dimensions that summarize the strengths and limitations of standard and interactive model cards, including: stakeholders; design; guidance; understandability & interpretability; sensemaking & skepticism; and trust & safety. Our findings demonstrate the importance of carefully considered design and interactivity for orienting and supporting non-expert analysts using deep learning models, along with a need for consideration of broader sociotechnical contexts and organizational dynamics. We have also identified design elements, such as language, visual cues, and warnings, among others, that support interactivity and make non-interactive content accessible. We summarize our findings as design guidelines and discuss their implications for a human-centered approach towards AI/ML documentation.
• Abstract（参考訳）: 自然言語処理(NLP)のためのディープラーニングモデルは、NLPや機械学習(ML)の正式なトレーニングなしに、アナリストによって採用され、デプロイされるようになっている。 しかし、モデルの詳細と適切な使用を伝達するためのドキュメンテーションは、主にMLやNLPの専門知識を持つ個人向けに調整されている。 このギャップに対処するため、インタラクティブなモデルカードの設計調査を行い、モデルドキュメンテーションを探索し、モデル自体と対話する余地を、従来の静的なモデルカードに拡張した。 我々の調査は、ML、NLP、AI倫理の専門家による最初の概念的研究と、MLモデルを使用する専門家以外のアナリストによる別の評価研究から成っている。 半構造化された面接形式とシンクアラウドプロトコルを用いて,標準モデルカードとインタラクティブモデルカードの異なるバージョンに関わった参加者30名からフィードバックを収集した。 収集したデータのテーマ分析を通じて,利害関係者,設計者,指導者,理解性と解釈可能性,感覚形成と懐疑主義,信頼と安全など,標準および対話型モデルカードの強みと限界を要約するいくつかの概念的側面を特定した。 本研究は,深層学習モデルを用いた非専門アナリストのオリエンテーションと支援における設計・対話性の重要性と,より広範な社会工学的文脈と組織力学の考察の必要性を明らかにした。 また、対話性をサポートし、非対話的コンテンツをアクセス可能にする言語、視覚的手がかり、警告などのデザイン要素も特定した。 我々は、私たちの発見をデザインガイドラインとして要約し、AI/MLドキュメントに対する人間中心のアプローチにおけるその影響について論じる。

関連論文リスト

• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Interactive Topic Models with Optimal Transport [75.26555710661908]
  ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。 EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
  論文  参考訳（メタデータ） (2024-06-28T13:57:27Z)
• LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models [31.426274932333264]
  自動側評価から結果をインタラクティブに分析する新しいビジュアル分析ツールであるComparatorを提案する。 このツールは、モデルがベースラインモデルよりも優れているか悪いかを、ユーザがいつ、なぜ理解するかを対話的にサポートする。
  論文  参考訳（メタデータ） (2024-02-16T09:14:49Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Eliciting Model Steering Interactions from Users via Data and Visual Design Probes [8.45602005745865]
  ドメインの専門家は、機械学習(ML)モデルを作業に組み込むために、自動化データサイエンスツールをますます活用しています。 これらの専門家にとって、セマンティックなインタラクションは、技術的な詳細を掘り下げることなく、MLモデルをガイドし、洗練するためのアクセス可能な道を提供することができる。 本研究では,MLの専門知識を持つ専門家が意味的相互作用を用いて,単純な分類モデルを更新する方法について検討する。
  論文  参考訳（メタデータ） (2023-10-12T20:34:02Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Leveraging Explanations in Interactive Machine Learning: An Overview [10.284830265068793]
  説明はAIと機械学習(ML)コミュニティへの関心が高まっている。 本稿では,対話的能力と説明が組み合わさった研究の概要について述べる。
  論文  参考訳（メタデータ） (2022-07-29T07:46:11Z)
• Are Metrics Enough? Guidelines for Communicating and Visualizing Predictive Models to Subject Matter Experts [7.768301998812552]
  本稿では,コミュニケーションのギャップを理解するために,課題の専門家とデータ科学者の双方による反復的研究について述べる。 モデルの強みと弱みを伝達するための共通媒体として可視化を利用する一連のコミュニケーションガイドラインを導出する。
  論文  参考訳（メタデータ） (2022-05-11T19:40:24Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。