論文の概要: Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation

• arxiv url: http://arxiv.org/abs/2302.07865v1
• Date: Wed, 15 Feb 2023 18:56:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 14:03:35.656661
• Title: Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation
• Title（参考訳）: データセットインタフェース:制御可能な偽物生成を用いたモデル障害の診断
• Authors: Joshua Vendrow, Saachi Jain, Logan Engstrom, Aleksander Madry
• Abstract要約: データセットインターフェースにより、ユーザーは所定のデータセットから反ファクト例を合成できる。 ImageNetデータセットにフレームワークを適用することで、さまざまなシフトのモデル動作を研究できることを示す。
• 参考スコア（独自算出の注目度）: 85.13934713535527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution shifts are a major source of failure of deployed machine learning models. However, evaluating a model's reliability under distribution shifts can be challenging, especially since it may be difficult to acquire counterfactual examples that exhibit a specified shift. In this work, we introduce dataset interfaces: a framework which allows users to scalably synthesize such counterfactual examples from a given dataset. Specifically, we represent each class from the input dataset as a custom token within the text space of a text-to-image diffusion model. By incorporating these tokens into natural language prompts, we can then generate instantiations of objects in that dataset under desired distribution shifts. We demonstrate how applying our framework to the ImageNet dataset enables us to study model behavior across a diverse array of shifts, including variations in background, lighting, and attributes of the objects themselves. Code available at https://github.com/MadryLab/dataset-interfaces.
• Abstract（参考訳）: 分散シフトは、デプロイされた機械学習モデルの障害の主な原因である。 しかしながら, 分散シフトによるモデルの信頼性評価は, 特に特定のシフトを示す反実例の取得が困難であるため, 困難である。 本研究では,あるデータセットから,そのような偽物例を確実に合成できるフレームワークであるデータセットインタフェースを紹介する。 具体的には、入力データセットから各クラスをテキストから画像への拡散モデルのテキスト空間内のカスタムトークンとして表現する。 これらのトークンを自然言語プロンプトに組み込むことで、所望の分散シフトの下でデータセット内のオブジェクトのインスタンス化を生成することができる。 我々は、ImageNetデータセットにフレームワークを適用することで、背景、照明、オブジェクト自体の属性など、さまざまなシフトのモデル動作を研究することができることを示す。 コードはhttps://github.com/madrylab/dataset-interfaces。

関連論文リスト

• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
  分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。 本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-23T05:29:36Z)
• Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
  量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。 定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。 本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-06T20:11:27Z)
• Explanation Shift: How Did the Distribution Shift Impact the Model? [23.403838118256907]
  本研究では,分布変化による説明特性の変化について検討した。 我々は、合成例と実世界のデータセットを用いて、異なる種類の分布シフトを分析する。 我々は、実験を再現するために使用されるコードと同様に、オープンソースのPythonパッケージでメソッドをリリースします。
  論文  参考訳（メタデータ） (2023-03-14T17:13:01Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• Estimating and Explaining Model Performance When Both Covariates and Labels Shift [36.94826820536239]
  両ラベルの結合シフトといくつかの特徴を考慮した新しい分散シフトモデル Sparse Joint Shift (SJS) を提案する。 また、SJSにおける分散シフトを特徴付けるアルゴリズムフレームワークSEESを提案し、ラベルなしで新しいデータ上でのモデルの性能を推定する。
  論文  参考訳（メタデータ） (2022-09-18T01:16:16Z)
• Identifying the Context Shift between Test Benchmarks and Production Data [1.2259552039796024]
  データセットベンチマークにおける機械学習モデルの精度と実運用データの間には、パフォーマンスのギャップがある。 分布変化とモデル予測誤差につながる文脈変化を同定する2つの手法を概説する。 本研究は,機械学習モデルに基づく暗黙の仮定を強調するケーススタディを2つ提示する。
  論文  参考訳（メタデータ） (2022-07-03T14:54:54Z)
• AnoShift: A Distribution Shift Benchmark for Unsupervised Anomaly Detection [7.829710051617368]
  本稿では,ネットワーク侵入検知のためのトラフィックデータセットである Kyoto-2006+ 上に構築された,時間とともに変化するデータを含む教師なし異常検出ベンチマークを提案する。 まず, 基本機能解析, t-SNE, および最適輸送手法を用いて, 年々の分布距離を計測する。 従来のアプローチからディープラーニングまで,さまざまなモデルでパフォーマンス劣化を検証する。
  論文  参考訳（メタデータ） (2022-06-30T17:59:22Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。