論文の概要: Error Discovery by Clustering Influence Embeddings

• arxiv url: http://arxiv.org/abs/2312.04712v1
• Date: Thu, 7 Dec 2023 21:42:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 16:59:15.182279
• Title: Error Discovery by Clustering Influence Embeddings
• Title（参考訳）: クラスタリングインフルエントによるエラー検出
• Authors: Fulton Wang, Julius Adebayo, Sarah Tan, Diego Garcia-Olano, Narine Kokhlikyan
• Abstract要約: 本稿では,モデルが性能の低いテスト例群(スライス)を識別する手法を提案する。 我々はコヒーレンスを任意のスライス発見法が満たすべき重要な特性として定式化する。 InfEmbedという新しいスライス発見手法を考案し、トレーニングデータに類似した影響を受けているスライスを返却することでコヒーレンスを満足する。
• 参考スコア（独自算出の注目度）: 7.27282591214364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for identifying groups of test examples -- slices -- on which a model under-performs, a task now known as slice discovery. We formalize coherence -- a requirement that erroneous predictions, within a slice, should be wrong for the same reason -- as a key property that any slice discovery method should satisfy. We then use influence functions to derive a new slice discovery method, InfEmbed, which satisfies coherence by returning slices whose examples are influenced similarly by the training data. InfEmbed is simple, and consists of applying K-Means clustering to a novel representation we deem influence embeddings. We show InfEmbed outperforms current state-of-the-art methods on 2 benchmarks, and is effective for model debugging across several case studies.
• Abstract（参考訳）: そこで本研究では,現在スライス発見と呼ばれる課題であるモデルアンダーパフォーマンスの試験例群(スライス)を同定する手法を提案する。 我々は、スライス発見メソッドが満たすべき重要な特性として、コヒーレンス(コヒーレンス) -- スライス内の誤った予測が同じ理由で間違っているという要件を定式化します。 次に、インフルエンス関数を用いて新しいスライス探索法InfEmbedを導出し、トレーニングデータに類似した影響を受けているスライスを返却することでコヒーレンスを満たす。 InfEmbed は単純で、K-Means クラスタリングを新しい表現に適用することで構成される。 2つのベンチマークで現在の最先端メソッドを上回っており、いくつかのケーススタディでモデルのデバッグに有効である。

関連論文リスト

• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• Comprehensive OOD Detection Improvements [46.46252643210326]
  このタスクのために、アウト・オブ・ディストリビューション(OOD)検出手法が作成されている。 我々は,時間的高速化と性能向上の両面において,特徴埋め込みの次元的削減を表現ベース手法に適用する。 提案手法の有効性を,OpenOODv1.5ベンチマークフレームワーク上で実証する。
  論文  参考訳（メタデータ） (2024-01-18T18:05:35Z)
• Where Does My Model Underperform? A Human Evaluation of Slice Discovery Algorithms [24.127380328812855]
  新しいスライス発見アルゴリズムは、データの一貫性と高いエラーのサブセットをグループ化することを目的としている。 2つの最先端スライス探索アルゴリズムによって出力される40個のスライスをユーザに示し、オブジェクト検出モデルに関する仮説を作成するよう依頼する。 以上の結果から,これらのツールが素直なベースラインよりも有益であることを示すとともに,仮説形成段階においてユーザが直面する課題にも光を当てることができた。
  論文  参考訳（メタデータ） (2023-06-13T22:44:53Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Smoothed Embeddings for Certified Few-Shot Learning [63.68667303948808]
  我々はランダムな平滑化を数ショットの学習モデルに拡張し、入力を正規化された埋め込みにマッピングする。 この結果は、異なるデータセットの実験によって確認される。
  論文  参考訳（メタデータ） (2022-02-02T18:19:04Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• Pair the Dots: Jointly Examining Training History and Test Stimuli for Model Interpretability [44.60486560836836]
  モデルからの予測は、学習履歴とテスト刺激の組み合わせによって行われる。 モデルの予測を解釈する既存の方法は、テスト刺激または学習履歴の1つの側面しかキャプチャできない。 本研究では,学習履歴とテスト刺激を共同で調べることで,モデルの予測を解釈しやすくするための,効率的かつ異なるアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-14T10:45:01Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。