論文の概要: Human Factors in Model Interpretability: Industry Practices, Challenges, and Needs

• arxiv url: http://arxiv.org/abs/2004.11440v2
• Date: Sat, 30 May 2020 12:10:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 12:44:43.124326
• Title: Human Factors in Model Interpretability: Industry Practices, Challenges, and Needs
• Title（参考訳）: モデル解釈可能性のヒューマンファクター:産業実践,課題,ニーズ
• Authors: Sungsoo Ray Hong, Jessica Hullman, Enrico Bertini
• Abstract要約: モデルを計画し、構築し、使用しながら、解釈可能性のためにどのように考え、設計するかを理解するために、業界実践者とのインタビューを行います。 この結果に基づいて、MLモデルを多用する組織内に存在する、解釈可能性の役割、プロセス、目標、戦略を区別する。 本分析から得られた解釈可能性作業の特徴は、モデル解釈可能性はしばしば、異なる役割の人物間の協調と精神モデルの比較を伴っていることを示唆している。
• 参考スコア（独自算出の注目度）: 28.645803845464915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the use of machine learning (ML) models in product development and data-driven decision-making processes became pervasive in many domains, people's focus on building a well-performing model has increasingly shifted to understanding how their model works. While scholarly interest in model interpretability has grown rapidly in research communities like HCI, ML, and beyond, little is known about how practitioners perceive and aim to provide interpretability in the context of their existing workflows. This lack of understanding of interpretability as practiced may prevent interpretability research from addressing important needs, or lead to unrealistic solutions. To bridge this gap, we conducted 22 semi-structured interviews with industry practitioners to understand how they conceive of and design for interpretability while they plan, build, and use their models. Based on a qualitative analysis of our results, we differentiate interpretability roles, processes, goals and strategies as they exist within organizations making heavy use of ML models. The characterization of interpretability work that emerges from our analysis suggests that model interpretability frequently involves cooperation and mental model comparison between people in different roles, often aimed at building trust not only between people and models but also between people within the organization. We present implications for design that discuss gaps between the interpretability challenges that practitioners face in their practice and approaches proposed in the literature, highlighting possible research directions that can better address real-world needs.
• Abstract（参考訳）: 製品開発やデータ駆動型意思決定プロセスにおける機械学習(ML)モデルの利用が多くのドメインで広まり、優れたモデルの構築に対する人々の関心は、モデルがどのように機能するかを理解するようにシフトしている。 モデル解釈可能性への学術的な関心は、HCI、MLなどの研究コミュニティで急速に高まっているが、実践者が既存のワークフローの文脈でどのように認識し、解釈可能性を提供することを目指すかについてはほとんど分かっていない。 この解釈可能性の理解の欠如は、解釈可能性の研究が重要なニーズに対処するのを防ぐか、非現実的な解決につながる可能性がある。 このギャップを埋めるために,22の半構造化インタビューを業界実践者に対して実施し,モデルを計画し,構築し,使用する際の解釈可能性に対する考え方と設計について検討した。 結果の質的分析に基づいて,mlモデルを多用した組織内に存在する解釈可能性の役割,プロセス,目標,戦略を区別する。 分析から得られた解釈可能性作業の特徴は、モデル解釈可能性はしばしば、異なる役割を持つ人々間の協力とメンタルモデルの比較を伴い、しばしば人とモデルだけでなく、組織内の人々間の信頼を構築することを目的としていることを示唆している。 本稿では,実践者が実践で直面する解釈可能性の課題と文献で提案するアプローチのギャップを議論する設計について,現実的なニーズに対処するための研究の方向性を明らかにする。

関連論文リスト

• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Towards a Unified Framework for Evaluating Explanations [0.6138671548064356]
  我々は、モデルと利害関係者の間の仲介者として、本質的に解釈可能なモデルであれ、不透明なブラックボックスモデルであれ、説明が役立ちます。 本稿では,学習者の行動を予測するための解釈可能なニューラルネットワークの例を用いて,これらの基準と具体的な評価手法について述べる。
  論文  参考訳（メタデータ） (2024-05-22T21:49:28Z)
• The Essential Role of Causality in Foundation World Models for Embodied AI [102.75402420915965]
  身体的なAIエージェントは、さまざまな現実世界環境で新しいタスクを実行する能力を必要とします。 現在の基礎モデルは物理的相互作用を正確にモデル化することができないため、Embodied AIには不十分である。 因果関係の研究は、検証世界モデルの構築に寄与する。
  論文  参考訳（メタデータ） (2024-02-06T17:15:33Z)
• Model-Agnostic Interpretation Framework in Machine Learning: A Comparative Study in NBA Sports [0.2937071029942259]
  本稿では,モデル性能と解釈可能性のトレードオフを整理する,革新的な枠組みを提案する。 我々のアプローチは高次元データに対するモジュラー操作を中心とし、解釈可能性を維持しながらエンドツーエンドの処理を可能にする。 我々は、我々のフレームワークを広範囲にテストし、計算効率と解釈可能性のバランスをとる上で、その優れた効果を検証した。
  論文  参考訳（メタデータ） (2024-01-05T04:25:21Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Foundation Models for Decision Making: Problems, Methods, and Opportunities [124.79381732197649]
  大規模に多様なデータに基づいて事前訓練された基礎モデルは、幅広いビジョンと言語タスクにおいて異常な能力を示してきた。 ファンデーションモデルをトレーニングし、他のエージェントと対話し、長期的な推論を行うための新しいパラダイムが生まれている。 基礎モデルと意思決定の交わりにおける研究は、強力な新しいシステムを作るための大きな約束である。
  論文  参考訳（メタデータ） (2023-03-07T18:44:07Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Individual Explanations in Machine Learning Models: A Survey for Practitioners [69.02688684221265]
  社会的関連性の高い領域の決定に影響を与える洗練された統計モデルの使用が増加しています。 多くの政府、機関、企業は、アウトプットが人間の解釈可能な方法で説明しにくいため、採用に消極的です。 近年,機械学習モデルに解釈可能な説明を提供する方法として,学術文献が多数提案されている。
  論文  参考訳（メタデータ） (2021-04-09T01:46:34Z)
• Evaluating the Interpretability of Generative Models by Interactive Reconstruction [30.441247705313575]
  生成モデル表現の人間解釈可能性の定量化を課題とする。 このタスクのパフォーマンスは、ベースラインアプローチよりも、絡み合ったモデルと絡み合ったモデルをはるかに確実に区別する。
  論文  参考訳（メタデータ） (2021-02-02T02:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。