論文の概要: fAIlureNotes: Supporting Designers in Understanding the Limits of AI
Models for Computer Vision Tasks
- arxiv url: http://arxiv.org/abs/2302.11703v1
- Date: Wed, 22 Feb 2023 23:41:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 16:48:04.252937
- Title: fAIlureNotes: Supporting Designers in Understanding the Limits of AI
Models for Computer Vision Tasks
- Title(参考訳): fAIlureNotes: コンピュータビジョンタスクのためのAIモデルの限界を理解するデザイナを支援する
- Authors: Steven Moore, Q. Vera Liao, Hariharan Subramonyam
- Abstract要約: fAIlureNotesはデザイナ中心の障害調査と分析ツールだ。
モデルの評価や、さまざまなユーザグループやシナリオにおける障害の特定において、デザイナをサポートする。
- 参考スコア(独自算出の注目度): 32.53515595703429
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To design with AI models, user experience (UX) designers must assess the fit
between the model and user needs. Based on user research, they need to
contextualize the model's behavior and potential failures within their
product-specific data instances and user scenarios. However, our formative
interviews with ten UX professionals revealed that such a proactive discovery
of model limitations is challenging and time-intensive. Furthermore, designers
often lack technical knowledge of AI and accessible exploration tools, which
challenges their understanding of model capabilities and limitations. In this
work, we introduced a failure-driven design approach to AI, a workflow that
encourages designers to explore model behavior and failure patterns early in
the design process. The implementation of fAIlureNotes, a designer-centered
failure exploration and analysis tool, supports designers in evaluating models
and identifying failures across diverse user groups and scenarios. Our
evaluation with UX practitioners shows that fAIlureNotes outperforms today's
interactive model cards in assessing context-specific model performance.
- Abstract(参考訳): AIモデルで設計するには、ユーザーエクスペリエンス(UX)デザイナはモデルとユーザニーズの適合性を評価する必要がある。
ユーザリサーチに基づいて、プロダクト固有のデータインスタンスとユーザシナリオにおいて、モデルの振る舞いと潜在的な障害をコンテキスト化する必要がある。
しかし、10人のUX専門家とのフォーマティブなインタビューから、モデル制限の積極的な発見は困難であり、時間を要することが明らかになりました。
さらに、設計者はaiとアクセス可能な探索ツールに関する技術的な知識を欠いており、モデルの能力や制限に対する理解に挑戦している。
この作業では、設計プロセスの初期段階において、モデル動作と失敗パターンを設計者が調査するように促すワークフローである、AIに障害駆動設計アプローチを導入しました。
デザイナ中心の障害探索および分析ツールであるfailtnotesの実装は、さまざまなユーザグループやシナリオにわたるモデルの評価と障害の識別を支援する。
UX実践者による評価では、fAIlureNotesは、コンテキスト固有のモデルパフォーマンスを評価する上で、今日のインタラクティブモデルカードよりも優れています。
関連論文リスト
- Content-Centric Prototyping of Generative AI Applications: Emerging
Approaches and Challenges in Collaborative Software Teams [2.369736515233951]
私たちの研究は、共同ソフトウェアチームがいかにして設計ガイドラインと価値を適用して適用し、反復的にプロトタイププロンプトを作成し、望ましい結果を達成するためのプロンプトを評価するかを理解することを目的としています。
その結果,コンテンツ中心のプロトタイピングアプローチとして,生成したいコンテンツから始めて,特定の属性,制約,値を識別し,ユーザがそれらの属性に影響を与えて対話する手段を探索する,という方法が明らかになった。
論文 参考訳(メタデータ) (2024-02-27T17:56:10Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Explain To Decide: A Human-Centric Review on the Role of Explainable
Artificial Intelligence in AI-assisted Decision Making [1.0878040851638]
機械学習モデルはエラーを起こしやすく、自律的に使用することはできない。
説明可能な人工知能(XAI)は、エンドユーザーによるモデルの理解を支援する。
本稿では,XAIの人間-AI意思決定への影響に関する最近の実証的研究について報告する。
論文 参考訳(メタデータ) (2023-12-11T22:35:21Z) - A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。
モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。
一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文 参考訳(メタデータ) (2023-07-25T17:02:38Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Designerly Understanding: Information Needs for Model Transparency to
Support Design Ideation for AI-Powered User Experience [42.73738624139124]
設計者は、事前訓練された言語モデルなどのAI技術を設計材料として理解するハードルに直面します。
これにより、AIの使用方法、場所、使用方法について、アイデアと意思決定の能力が制限される。
私たちの研究は、UXデザイナがResponsible AIで果たせる重要な役割を強調します。
論文 参考訳(メタデータ) (2023-02-21T02:06:24Z) - Design Space Exploration and Explanation via Conditional Variational
Autoencoders in Meta-model-based Conceptual Design of Pedestrian Bridges [52.77024349608834]
本稿では,条件付き変分オートエンコーダ(CVAE)による人間設計者向上のための性能駆動型設計探索フレームワークを提案する。
CVAEはスイスの歩行者橋の合成例18万件で訓練されている。
論文 参考訳(メタデータ) (2022-11-29T17:28:31Z) - Interactive Model Cards: A Human-Centered Approach to Model
Documentation [20.880991026743498]
自然言語処理のためのディープラーニングモデルは、NLPや機械学習の正式なトレーニングなしに、アナリストによって採用され、デプロイされている。
モデルの詳細と適切な使用を伝達するためのドキュメンテーションは、主にMLやNLPの専門知識を持つ個人向けに調整されている。
我々は、インタラクティブなモデルカードの設計調査を行い、モデルドキュメンテーションを探索し、モデル自体と対話する余地を、従来の静的なモデルカードに拡張した。
論文 参考訳(メタデータ) (2022-05-05T19:19:28Z) - Towards A Process Model for Co-Creating AI Experiences [16.767362787750418]
テクノロジーをデザイン素材として考えることは、デザイナーにとって魅力的です。
材料として、AIは設計プロセス自体の一部としてその特性が現れるため、このアプローチに抵抗します。
10組のデザイナーとエンジニアによるデザイン研究により、共創過程を調査します。
論文 参考訳(メタデータ) (2021-04-15T16:53:34Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。