論文の概要: What Is Wrong with My Model? Identifying Systematic Problems with Semantic Data Slicing

• arxiv url: http://arxiv.org/abs/2409.09261v1
• Date: Sat, 14 Sep 2024 02:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:38:57.150450
• Title: What Is Wrong with My Model? Identifying Systematic Problems with Semantic Data Slicing
• Title（参考訳）: 私のモデルに何が間違っているのか?意味的データスライシングによる系統的問題を特定する
• Authors: Chenyang Yang, Yining Hong, Grace A. Lewis, Tongshuang Wu, Christian Kästner,
• Abstract要約: セマンティックデータスライシングをサポートするフレームワークであるSemSlicerを提案する。 SemSlicerは低コストで正確なスライスを生成し、性能の低いデータスライスを確実に識別し、実践者が体系的な問題を反映した有用なデータスライスを特定するのに役立つことを示す。
• 参考スコア（独自算出の注目度）: 44.370871446919594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models make mistakes, yet sometimes it is difficult to identify the systematic problems behind the mistakes. Practitioners engage in various activities, including error analysis, testing, auditing, and red-teaming, to form hypotheses of what can go (or has gone) wrong with their models. To validate these hypotheses, practitioners employ data slicing to identify relevant examples. However, traditional data slicing is limited by available features and programmatic slicing functions. In this work, we propose SemSlicer, a framework that supports semantic data slicing, which identifies a semantically coherent slice, without the need for existing features. SemSlicer uses Large Language Models to annotate datasets and generate slices from any user-defined slicing criteria. We show that SemSlicer generates accurate slices with low cost, allows flexible trade-offs between different design dimensions, reliably identifies under-performing data slices, and helps practitioners identify useful data slices that reflect systematic problems.
• Abstract（参考訳）: 機械学習モデルはミスを犯すが、失敗の背後にある体系的な問題を特定するのは難しい場合もある。 実践者は、エラー分析、テスト、監査、レッドチームなど、さまざまな活動に従事して、モデルに何ができないか(あるいはなくなったか)の仮説を立てます。 これらの仮説を検証するために、実践者はデータスライシングを使用して関連する事例を特定する。 しかし、従来のスライシングは利用可能な機能やプログラムスライシング機能によって制限されている。 本研究では,セマンティックデータスライシングをサポートするフレームワークであるSemSlicerを提案する。 SemSlicerはLarge Language Modelsを使用して、データセットを注釈付けし、ユーザ定義スライシング基準からスライスを生成する。 SemSlicerは、低コストで正確なスライスを生成し、異なる設計次元間の柔軟なトレードオフを可能にし、パフォーマンスの低いデータスライスを確実に識別し、実践者が体系的な問題を反映した有用なデータスライスを特定するのに役立つことを示す。

関連論文リスト

• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism [4.675583319625962]
  半教師付き学習は、ラベルのないデータを利用して機械学習モデルを改善するための強力な技術である。 これは、あるクラスが他のクラスよりもラベル付けされる可能性が高い場合に発生する、情報的ラベルの存在に影響される可能性がある。 本稿では,データ不足のメカニズムを推定し,逆確率重み付けを用いてSSLアルゴリズムを劣化させることにより,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T09:18:46Z)
• AutoSlicer: Scalable Automated Data Slicing for ML Model Analysis [3.3446830960153555]
  本稿では,分散メトリクス計算と仮説テストにより問題スライスを探索するスケーラブルなシステムであるAutoslicerを提案する。 実験では,探索空間のごく一部を検査することで,異常なスライスの大部分を探索戦略が発見できることを示した。
  論文  参考訳（メタデータ） (2022-12-18T07:49:17Z)
• Localized Shortcut Removal [4.511561231517167]
  保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。 これはしばしば、機械学習のショートカットの存在が原因である。 我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
  論文  参考訳（メタデータ） (2022-11-24T13:05:33Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Diversify and Disambiguate: Learning From Underspecified Data [76.67228314592904]
  DivDisは、テストディストリビューションからラベルのないデータを活用することで、タスクに対するさまざまな仮説のコレクションを学ぶフレームワークである。 我々はDivDisが画像分類や自然言語処理問題において頑健な特徴を用いた仮説を見つける能力を示す。
  論文  参考訳（メタデータ） (2022-02-07T18:59:06Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。