論文の概要: VISLIX: An XAI Framework for Validating Vision Models with Slice Discovery and Analysis

• arxiv url: http://arxiv.org/abs/2505.03132v1
• Date: Tue, 06 May 2025 03:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.17129
• Title: VISLIX: An XAI Framework for Validating Vision Models with Slice Discovery and Analysis
• Title（参考訳）: VISLIX:スライス発見と分析によるビジョンモデルの検証のためのXAIフレームワーク
• Authors: Xinyuan Yan, Xiwei Xuan, Jorge Piazentin Ono, Jiajing Guo, Vikram Mohanty, Shekar Arvind Kumar, Liang Gou, Bei Wang, Liu Ren,
• Abstract要約: 我々は、ドメインの専門家がコンピュータビジョンモデルのスライスを分析するのに役立つ新しいビジュアル分析フレームワークVISLIXを紹介する。 提案手法では,画像メタデータや視覚概念を必要とせず,自然言語の洞察を自動的に生成し,ユーザが対話的にデータスライス仮説をテストできる。
• 参考スコア（独自算出の注目度）: 14.4831165224805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world machine learning models require rigorous evaluation before deployment, especially in safety-critical domains like autonomous driving and surveillance. The evaluation of machine learning models often focuses on data slices, which are subsets of the data that share a set of characteristics. Data slice finding automatically identifies conditions or data subgroups where models underperform, aiding developers in mitigating performance issues. Despite its popularity and effectiveness, data slicing for vision model validation faces several challenges. First, data slicing often needs additional image metadata or visual concepts, and falls short in certain computer vision tasks, such as object detection. Second, understanding data slices is a labor-intensive and mentally demanding process that heavily relies on the expert's domain knowledge. Third, data slicing lacks a human-in-the-loop solution that allows experts to form hypothesis and test them interactively. To overcome these limitations and better support the machine learning operations lifecycle, we introduce VISLIX, a novel visual analytics framework that employs state-of-the-art foundation models to help domain experts analyze slices in computer vision models. Our approach does not require image metadata or visual concepts, automatically generates natural language insights, and allows users to test data slice hypothesis interactively. We evaluate VISLIX with an expert study and three use cases, that demonstrate the effectiveness of our tool in providing comprehensive insights for validating object detection models.
• Abstract（参考訳）: 現実世界の機械学習モデルは、展開前に厳格な評価を必要とする。 機械学習モデルの評価は、しばしば特徴の集合を共有するデータのサブセットであるデータスライスに焦点を当てる。 データスライス検出は、モデルの性能が低い条件やデータサブグループを自動的に識別し、開発者がパフォーマンス問題を緩和するのに役立つ。 その人気と効果にもかかわらず、ビジョンモデル検証のためのデータスライシングはいくつかの課題に直面している。 第一に、データスライシングはしばしば追加の画像メタデータや視覚概念を必要とし、オブジェクト検出などのコンピュータビジョンタスクでは不足している。 第二に、データスライスを理解することは、専門家のドメイン知識に大きく依存する労働集約的で精神的に要求されるプロセスである。 第三に、データスライシングには、専門家が仮説を作成して対話的にテストできる、人間とループのソリューションが欠けている。 これらの制限を克服し、機械学習の操作ライフサイクルをより良くサポートするために、私たちは、最先端の基礎モデルを用いた新しいビジュアル分析フレームワークVISLIXを導入し、ドメインの専門家がコンピュータビジョンモデルのスライスを分析するのに役立つ。 提案手法では,画像メタデータや視覚概念を必要とせず,自然言語の洞察を自動的に生成し,ユーザが対話的にデータスライス仮説をテストできる。 我々は,VISLIXを専門的な研究と3つのユースケースで評価し,対象検出モデルを検証するための総合的な洞察を提供するツールの有効性を実証した。

関連論文リスト

• A Data-Centric Revisit of Pre-Trained Vision Models for Robot Learning [67.72413262980272]
  事前訓練された視覚モデル(PVM)は現代のロボティクスの基本であるが、その最適構成は定かではない。 セマンティック・ボトルネックを導入してオブジェクト中心の表現を誘導する手法であるSlotMIMを開発した。 提案手法は,画像認識,シーン理解,ロボット学習評価において,従来の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-03-10T06:18:31Z)
• BEHAVIOR Vision Suite: Customizable Dataset Generation via Simulation [57.40024206484446]
  我々は、コンピュータビジョンモデルの体系的評価のために、完全にカスタマイズされた合成データを生成するためのツールと資産のセットであるBEHAVIOR Vision Suite(BVS)を紹介する。 BVSはシーンレベルで多数の調整可能なパラメータをサポートする。 アプリケーションシナリオを3つ紹介する。
  論文  参考訳（メタデータ） (2024-05-15T17:57:56Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
  データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。 このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。 本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。 本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
  論文  参考訳（メタデータ） (2024-01-12T09:17:32Z)
• SeeBel: Seeing is Believing [0.9790236766474201]
  本稿では,全画像のセグメンテーションにおけるデータセット統計とAI性能を比較するための3つの可視化手法を提案する。 我々のプロジェクトは、画像の注意重みを可視化することで、セグメンテーションのための訓練されたAIモデルの解釈可能性をさらに高めようとしている。 我々は,コンピュータビジョンとAI領域における可視化ツールの有効性を検討するために,実際のユーザを対象に調査を行うことを提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:11:00Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。