論文の概要: Revealing Model Biases: Assessing Deep Neural Networks via Recovered Sample Analysis

• arxiv url: http://arxiv.org/abs/2306.06414v1
• Date: Sat, 10 Jun 2023 11:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 19:04:39.381421
• Title: Revealing Model Biases: Assessing Deep Neural Networks via Recovered Sample Analysis
• Title（参考訳）: Revealing Model Biases:Recovered Sample Analysisによるディープニューラルネットワークの評価
• Authors: Mohammad Mahdi Mehmanchi, Mahbod Nouri, Mohammad Sabokrou
• Abstract要約: 本稿では、深層ニューラルネットワーク(DNN)がトレーニングサンプルの第一概念に依存しているかどうかを簡易かつ費用対効果で評価する手法を提案する。 提案手法は,テストや一般化のサンプルを一切必要とせず,訓練対象モデルのパラメータとマージンにあるトレーニングデータのみを必要とする。
• 参考スコア（独自算出の注目度）: 9.05607520128194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a straightforward and cost-effective approach to assess whether a deep neural network (DNN) relies on the primary concepts of training samples or simply learns discriminative, yet simple and irrelevant features that can differentiate between classes. The paper highlights that DNNs, as discriminative classifiers, often find the simplest features to discriminate between classes, leading to a potential bias towards irrelevant features and sometimes missing generalization. While a generalization test is one way to evaluate a trained model's performance, it can be costly and may not cover all scenarios to ensure that the model has learned the primary concepts. Furthermore, even after conducting a generalization test, identifying bias in the model may not be possible. Here, the paper proposes a method that involves recovering samples from the parameters of the trained model and analyzing the reconstruction quality. We believe that if the model's weights are optimized to discriminate based on some features, these features will be reflected in the reconstructed samples. If the recovered samples contain the primary concepts of the training data, it can be concluded that the model has learned the essential and determining features. On the other hand, if the recovered samples contain irrelevant features, it can be concluded that the model is biased towards these features. The proposed method does not require any test or generalization samples, only the parameters of the trained model and the training data that lie on the margin. Our experiments demonstrate that the proposed method can determine whether the model has learned the desired features of the training data. The paper highlights that our understanding of how these models work is limited, and the proposed approach addresses this issue.
• Abstract（参考訳）: 本稿では、深層ニューラルネットワーク(dnn)が、サンプルのトレーニングの第一概念に依存しているか、クラスを区別可能な、しかし単純で無関係な特徴を単に学習しているかを評価するための、単純で費用効果の高いアプローチを提案する。 論文は、識別分類器としてのdnnがクラス間を識別する最も単純な特徴を見いだすことがしばしばあり、無関係な特徴に対する潜在的なバイアスと時として一般化が欠如していることを強調する。 一般化テストは、トレーニングされたモデルのパフォーマンスを評価する方法の1つだが、モデルが主要な概念を学んだことを保証するために、コストがかかり、すべてのシナリオをカバーすることはできない。 さらに、一般化テストを行っても、モデルのバイアスを特定することは不可能である。 本稿では,トレーニングモデルのパラメータからサンプルを回収し,復元品質を分析する手法を提案する。 モデルの重みがいくつかの特徴に基づいて識別するために最適化された場合、これらの特徴は再構成されたサンプルに反映されると考えられる。 得られたサンプルがトレーニングデータの主要な概念を含んでいる場合、モデルは本質的かつ決定的な特徴を学習したと結論付けることができる。 一方、回収されたサンプルが無関係な特徴を含む場合、モデルがこれらの特徴に偏っていると結論付けることができる。 提案手法は,テストや一般化のサンプルを一切必要とせず,訓練対象モデルのパラメータとマージンにあるトレーニングデータのみを必要とする。 実験により,提案手法は,学習データの特徴を学習したかどうかを判断できることを示した。 論文は、これらのモデルがどのように機能するかの理解が限られていることを強調し、提案されたアプローチがこの問題に対処している。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。 モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• On the Foundations of Shortcut Learning [20.53986437152018]
  予測と可用性が形状モデルの特徴的利用とどのように相互作用するかを考察する。 線形モデルは比較的偏りがないが、ReLUやTanhの単位を持つ単一の隠蔽層を導入するとバイアスが生じる。
  論文  参考訳（メタデータ） (2023-10-24T22:54:05Z)
• Personalized Interpretable Classification [8.806213269230057]
  我々は、新たなデータマイニング問題として、パーソナライズされた解釈可能な分類を正式に導入する第一歩を踏み出します。 実データ集合に関する一連の実証的研究を行う。 我々のアルゴリズムは、これら最先端(SOTA)の解釈可能な分類器と同じレベルの予測精度を達成できる。
  論文  参考訳（メタデータ） (2023-02-06T01:59:16Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
  最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。 本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。 もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
  論文  参考訳（メタデータ） (2020-12-16T05:13:30Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Pair the Dots: Jointly Examining Training History and Test Stimuli for Model Interpretability [44.60486560836836]
  モデルからの予測は、学習履歴とテスト刺激の組み合わせによって行われる。 モデルの予測を解釈する既存の方法は、テスト刺激または学習履歴の1つの側面しかキャプチャできない。 本研究では,学習履歴とテスト刺激を共同で調べることで,モデルの予測を解釈しやすくするための,効率的かつ異なるアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-14T10:45:01Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。