論文の概要: Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation

• arxiv url: http://arxiv.org/abs/2302.07865v2
• Date: Mon, 19 Jun 2023 15:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 03:40:22.288713
• Title: Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation
• Title（参考訳）: データセットインタフェース:制御可能な偽物生成を用いたモデル障害の診断
• Authors: Joshua Vendrow, Saachi Jain, Logan Engstrom, Aleksander Madry
• Abstract要約: 分散シフトは、機械学習モデルの主要な障害源である。 入力データセットとユーザが指定したシフトを与えられたフレームワークは、望ましいシフトを示すインスタンスを返す。 本稿では,このデータセットインターフェースをImageNetデータセットに適用することにより,分散シフトの多種多様さにまたがるモデル動作の学習が可能になることを示す。
• 参考スコア（独自算出の注目度）: 85.13934713535527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution shift is a major source of failure for machine learning models. However, evaluating model reliability under distribution shift can be challenging, especially since it may be difficult to acquire counterfactual examples that exhibit a specified shift. In this work, we introduce the notion of a dataset interface: a framework that, given an input dataset and a user-specified shift, returns instances from that input distribution that exhibit the desired shift. We study a number of natural implementations for such an interface, and find that they often introduce confounding shifts that complicate model evaluation. Motivated by this, we propose a dataset interface implementation that leverages Textual Inversion to tailor generation to the input distribution. We then demonstrate how applying this dataset interface to the ImageNet dataset enables studying model behavior across a diverse array of distribution shifts, including variations in background, lighting, and attributes of the objects. Code available at https://github.com/MadryLab/dataset-interfaces.
• Abstract（参考訳）: 分散シフトは、機械学習モデルの主要な障害源である。 しかし, 分散シフトによるモデル信頼性の評価は, 特に, 特定のシフトを示す反実例の取得が困難であるため, 困難である。 本稿では,入力データセットとユーザが指定したシフトを与えられた場合,所望のシフトを示す入力分布からインスタンスを返却するフレームワークである,データセットインタフェースの概念を紹介する。 このようなインタフェースの自然な実装を数多く検討し、モデル評価を複雑化する共起シフトをしばしば導入することを発見した。 そこで本研究では,テキストインバージョンを利用して入力分布を自動生成するデータセットインタフェースの実装を提案する。 次に、このデータセットインターフェイスをimagenetデータセットに適用することで、オブジェクトの背景、照明、属性など、さまざまな分散シフトを横断してモデルの振る舞いを研究できることを示す。 コードはhttps://github.com/madrylab/dataset-interfaces。

関連論文リスト

• Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
  分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。 本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-23T05:29:36Z)
• Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
  量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。 定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。 本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-06T20:11:27Z)
• Explanation Shift: How Did the Distribution Shift Impact the Model? [23.403838118256907]
  本研究では,分布変化による説明特性の変化について検討した。 我々は、合成例と実世界のデータセットを用いて、異なる種類の分布シフトを分析する。 我々は、実験を再現するために使用されるコードと同様に、オープンソースのPythonパッケージでメソッドをリリースします。
  論文  参考訳（メタデータ） (2023-03-14T17:13:01Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• Estimating and Explaining Model Performance When Both Covariates and Labels Shift [36.94826820536239]
  両ラベルの結合シフトといくつかの特徴を考慮した新しい分散シフトモデル Sparse Joint Shift (SJS) を提案する。 また、SJSにおける分散シフトを特徴付けるアルゴリズムフレームワークSEESを提案し、ラベルなしで新しいデータ上でのモデルの性能を推定する。
  論文  参考訳（メタデータ） (2022-09-18T01:16:16Z)
• Identifying the Context Shift between Test Benchmarks and Production Data [1.2259552039796024]
  データセットベンチマークにおける機械学習モデルの精度と実運用データの間には、パフォーマンスのギャップがある。 分布変化とモデル予測誤差につながる文脈変化を同定する2つの手法を概説する。 本研究は,機械学習モデルに基づく暗黙の仮定を強調するケーススタディを2つ提示する。
  論文  参考訳（メタデータ） (2022-07-03T14:54:54Z)
• AnoShift: A Distribution Shift Benchmark for Unsupervised Anomaly Detection [7.829710051617368]
  本稿では,ネットワーク侵入検知のためのトラフィックデータセットである Kyoto-2006+ 上に構築された,時間とともに変化するデータを含む教師なし異常検出ベンチマークを提案する。 まず, 基本機能解析, t-SNE, および最適輸送手法を用いて, 年々の分布距離を計測する。 従来のアプローチからディープラーニングまで,さまざまなモデルでパフォーマンス劣化を検証する。
  論文  参考訳（メタデータ） (2022-06-30T17:59:22Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。