論文の概要: Visualization Guidelines for Model Performance Communication Between Data Scientists and Subject Matter Experts

• arxiv url: http://arxiv.org/abs/2205.05749v1
• Date: Wed, 11 May 2022 19:40:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 14:19:10.234830
• Title: Visualization Guidelines for Model Performance Communication Between Data Scientists and Subject Matter Experts
• Title（参考訳）: データサイエンティストと対象者間のモデルパフォーマンスコミュニケーションのための可視化ガイドライン
• Authors: Ashley Suh, Gabriel Appleby, Erik W. Anderson, Luca Finelli, Remco Chang, Dylan Cashman
• Abstract要約: 本研究は,モデル性能コミュニケーションにおける共通プラクティスと,課題の専門家と意思決定者との理解のギャップについて論じる。 我々は,データ科学者と同一組織における課題専門家の両方のインタビューに基づいて,一連のコミュニケーションガイドラインとモデルパフォーマンスのコミュニケーションのための視覚化を導出する。 提案したガイドラインは,提案モデルのトレードオフをより意識させるものであることがわかった。
• 参考スコア（独自算出の注目度）: 7.768301998812552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Presenting the complexities of a model's performance is a communication bottleneck that threatens collaborations between data scientists and subject matter experts. Accuracy and error metrics alone fail to tell the whole story of a model - its risks, strengths, and limitations - making it difficult for subject matter experts to feel confident in deciding to use a model. As a result, models may fail in unexpected ways if their weaknesses are not clearly understood. Alternatively, models may go unused, as subject matter experts disregard poorly presented models in favor of familiar, yet arguably substandard methods. In this paper, we propose effective use of visualization as a medium for communication between data scientists and subject matter experts. Our research addresses the gap between common practices in model performance communication and the understanding of subject matter experts and decision makers. We derive a set of communication guidelines and recommended visualizations for communicating model performance based on interviews of both data scientists and subject matter experts at the same organization. We conduct a follow-up study with subject matter experts to evaluate the efficacy of our guidelines in presentations of model performance with and without our recommendations. We find that our proposed guidelines made subject matter experts more aware of the tradeoffs of the presented model. Participants realized that current communication methods left them without a robust understanding of the model's performance, potentially giving them misplaced confidence in the use of the model.
• Abstract（参考訳）: モデルのパフォーマンスの複雑さを示すことは、データサイエンティストと主題の専門家のコラボレーションを脅かすコミュニケーションボトルネックである。 正確さとエラーのメトリクスだけでは、モデル全体、そのリスク、強み、限界などを伝えることができません。 結果として、弱点が明確に理解されていない場合、モデルが予期せぬ方法で失敗する可能性がある。 あるいは、被写体の専門家は、慣れ親しんだが疑わしいサブスタンダードな手法を好まないため、モデルは使われないかもしれない。 本稿では,データ科学者と対象者間のコミュニケーションの媒体として可視化の有効利用を提案する。 本研究は,モデル性能コミュニケーションにおける共通プラクティスと,課題の専門家と意思決定者との理解のギャップについて論じる。 我々は,データ科学者と同一組織における課題専門家の両方のインタビューに基づいて,一連のコミュニケーションガイドラインとモデルパフォーマンスのコミュニケーションのための視覚化を導出する。 本研究は, モデルパフォーマンスのプレゼンテーションにおけるガイドラインの有効性を評価するために, 課題の専門家とともに追跡研究を行う。 提案ガイドラインにより,提案モデルのトレードオフを主題の専門家に認識させることができた。 参加者は、現在のコミュニケーション方法がモデルのパフォーマンスをしっかりと理解せず、モデルの使用に対する信頼性を損なう可能性があることに気づきました。

関連論文リスト

• Context versus Prior Knowledge in Language Models [49.17879668110546]
  言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。 本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
  論文  参考訳（メタデータ） (2024-04-06T13:46:53Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• Interactive Model Cards: A Human-Centered Approach to Model Documentation [20.880991026743498]
  自然言語処理のためのディープラーニングモデルは、NLPや機械学習の正式なトレーニングなしに、アナリストによって採用され、デプロイされている。 モデルの詳細と適切な使用を伝達するためのドキュメンテーションは、主にMLやNLPの専門知識を持つ個人向けに調整されている。 我々は、インタラクティブなモデルカードの設計調査を行い、モデルドキュメンテーションを探索し、モデル自体と対話する余地を、従来の静的なモデルカードに拡張した。
  論文  参考訳（メタデータ） (2022-05-05T19:19:28Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Representations of epistemic uncertainty and awareness in data-driven strategies [0.0]
  本稿では,エージェントによる知識表現とその伝達における不確実性の理論モデルを提案する。 我々は、推論、嗜好関係、情報測度の観点から、等価な知識表現を考察する。 本稿では,データ駆動戦略における提案モデルの有効性について論じる。
  論文  参考訳（メタデータ） (2021-10-21T21:18:21Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。