論文の概要: From Hope to Safety: Unlearning Biases of Deep Models by Enforcing the
Right Reasons in Latent Space
- arxiv url: http://arxiv.org/abs/2308.09437v1
- Date: Fri, 18 Aug 2023 10:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 13:36:46.489294
- Title: From Hope to Safety: Unlearning Biases of Deep Models by Enforcing the
Right Reasons in Latent Space
- Title（参考訳）: 希望から安全へ:潜在空間に適切な理由を課すことによる深層モデルの学習バイアス
- Authors: Maximilian Dreyer, Frederik Pahde, Christopher J. Anders, Wojciech
Samek, Sebastian Lapuschkin
- Abstract要約: ディープニューラルネットワークは、トレーニングデータに埋め込まれた急激な相関を学習する傾向があるため、潜在的なバイアスのある予測につながる。
これは、医療応用など、高い意思決定のためにこれらのモデルをデプロイする際のリスクを生じさせる。
本稿では,モデルが勾配によってバイアスに対する感度を低下させることにより,概念レベルでの適切な理由を保証する手法を提案する。
- 参考スコア（独自算出の注目度）: 13.763716495058294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks are prone to learning spurious correlations embedded in
the training data, leading to potentially biased predictions. This poses risks
when deploying these models for high-stake decision-making, such as in medical
applications. Current methods for post-hoc model correction either require
input-level annotations, which are only possible for spatially localized
biases, or augment the latent feature space, thereby hoping to enforce the
right reasons. We present a novel method ensuring the right reasons on the
concept level by reducing the model's sensitivity towards biases through the
gradient. When modeling biases via Concept Activation Vectors, we highlight the
importance of choosing robust directions, as traditional regression-based
approaches such as Support Vector Machines tend to result in diverging
directions. We effectively mitigate biases in controlled and real-world
settings on the ISIC, Bone Age, ImageNet and CelebA datasets using VGG, ResNet
and EfficientNet architectures.
- Abstract（参考訳）: ディープニューラルネットワークは、トレーニングデータに埋め込まれた急激な相関を学習する傾向があるため、潜在的なバイアスのある予測につながる。
これは、医療応用などの高い意思決定のためにこれらのモデルをデプロイする際のリスクを引き起こす。
ポストホックモデル修正の現在の方法は、空間的局所化バイアスに対してのみ可能である入力レベルのアノテーションを必要とするか、潜在特徴空間を増大させ、正しい理由を強制することを望んでいる。
グラデーションによるバイアスに対するモデルの感度を低下させることにより,概念レベルでの適切な理由を確保する新しい手法を提案する。
概念活性化ベクトルを介してバイアスをモデル化する場合、Support Vector Machinesのような従来の回帰ベースのアプローチでは方向が変化する傾向があるため、ロバストな方向を選択することの重要性を強調します。
VGG, ResNet, EfficientNetアーキテクチャを用いてISIC, Bone Age, ImageNet, CelebAデータセットの制御および実環境設定におけるバイアスを効果的に緩和する。
関連論文リスト
- Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。
KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。
本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
論文 参考訳（メタデータ） (2024-06-21T01:37:39Z) - GRANP: A Graph Recurrent Attentive Neural Process Model for Vehicle Trajectory Prediction [3.031375888004876]
車両軌道予測のためのGRANP(Graph Recurrent Attentive Neural Process)という新しいモデルを提案する。
GRANPには、決定論的パスと遅延パスを持つエンコーダと、予測のためのデコーダが含まれている。
我々は,GRANPが最先端の結果を達成し,不確実性を効率的に定量化できることを示す。
論文 参考訳（メタデータ） (2024-04-09T05:51:40Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。
PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。
具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
論文 参考訳（メタデータ） (2023-03-21T15:34:50Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - Scaling Laws Beyond Backpropagation [64.0476282000118]
因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。
DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
論文 参考訳（メタデータ） (2022-10-26T10:09:14Z) - Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face
Recognition [107.58227666024791]
顔認識システムは、法執行を含む安全クリティカルなアプリケーションに広くデプロイされている。
彼らは、性別や人種など、様々な社会的デデノグラフィー次元に偏見を示す。
バイアス軽減に関するこれまでの研究は、主にトレーニングデータの事前処理に重点を置いていた。
論文 参考訳（メタデータ） (2022-10-18T15:46:05Z) - Anomaly Localization in Model Gradients Under Backdoor Attacks Against
Federated Learning [0.6091702876917281]
本研究では,複数のバックドア攻撃シナリオ下でのモデル勾配の予測変動について,深い勾配レベル解析を行う。
我々の主要な発見は、ローカルモデル更新(重みまたは勾配)におけるバックドア誘発異常が、悪意のあるローカルモデルの最終層バイアス重みに現れることである。
論文 参考訳（メタデータ） (2021-11-29T16:46:01Z) - PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。
プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。
任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
論文 参考訳（メタデータ） (2021-08-10T14:43:17Z) - A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。
提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。
実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-06-22T12:41:19Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。