Fugu-MT 論文翻訳(概要): Deep Concept Removal

論文の概要: Deep Concept Removal

arxiv url: http://arxiv.org/abs/2310.05755v1
Date: Mon, 9 Oct 2023 14:31:03 GMT
ステータス: 処理完了
システム内更新日: 2023-10-11 09:11:00.161442
Title: Deep Concept Removal
Title（参考訳）: 深部概念除去
Authors: Yegor Klochkov and Jean-Francois Ton and Ruocheng Guo and Yang Liu and Hang Li
Abstract要約: ディープニューラルネットワークにおける概念除去の問題に対処する。本稿では,概念データセットに基づいて学習した逆線形分類器に基づく新しい手法を提案する。また,逆行訓練に伴う課題に対処するために,暗黙の勾配に基づく手法を導入する。
参考スコア（独自算出の注目度）: 29.65899467379793
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We address the problem of concept removal in deep neural networks, aiming to learn representations that do not encode certain specified concepts (e.g., gender etc.) We propose a novel method based on adversarial linear classifiers trained on a concept dataset, which helps to remove the targeted attribute while maintaining model performance. Our approach Deep Concept Removal incorporates adversarial probing classifiers at various layers of the network, effectively addressing concept entanglement and improving out-of-distribution generalization. We also introduce an implicit gradient-based technique to tackle the challenges associated with adversarial training using linear classifiers. We evaluate the ability to remove a concept on a set of popular distributionally robust optimization (DRO) benchmarks with spurious correlations, as well as out-of-distribution (OOD) generalization tasks.
Abstract（参考訳）: 本稿では,特定の概念(例えば性別など)をエンコードしない表現を学習することを目的とした,ディープニューラルネットワークにおける概念除去の問題に対処し,概念データセット上で訓練された逆線形分類器に基づく新しい手法を提案する。提案手法では,ネットワークの様々な層における逆探索分類器を組み込んで,概念の絡み合いを効果的に解決し,分散の一般化を改善する。また,線形分類器を用いた逆行訓練の課題に対処するために,暗黙の勾配に基づく手法を提案する。本研究は,分散ロバストな最適化 (DRO) ベンチマークの集合の概念を,突発的相関や分布外一般化 (OOD) タスクで除去する能力を評価する。

関連論文リスト

Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文参考訳（メタデータ） (2024-07-19T17:50:11Z)
A Self-explaining Neural Architecture for Generalizable Concept Learning [29.932706137805713]
現在,SOTA の概念学習アプローチは,概念の忠実さの欠如と,概念の相互運用の限界という2つの大きな問題に悩まされている。ドメイン間の概念学習のための新しい自己説明型アーキテクチャを提案する。提案手法は,現在広く使われている4つの実世界のデータセットに対するSOTA概念学習手法に対して有効であることを示す。
論文参考訳（メタデータ） (2024-05-01T06:50:18Z)
A survey on Concept-based Approaches For Model Improvement [2.1516043775965565]
概念は人間の思考基盤として知られている。ディープニューラルネットワーク(DNN)における様々な概念表現とその発見アルゴリズムの体系的レビューと分類について述べる。また,これらの手法を総合的に調査した最初の論文として,概念に基づくモデル改善文献について詳述する。
論文参考訳（メタデータ） (2024-03-21T17:09:20Z)
Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文参考訳（メタデータ） (2024-02-03T11:10:57Z)
Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision [25.449397570387802]
本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
論文参考訳（メタデータ） (2023-12-28T07:33:51Z)
Removing Spurious Concepts from Neural Network Representations via Joint Subspace Estimation [0.0]
ニューラルネットワークにおけるアウト・オブ・ディストリビューションの一般化は、しばしば素早い相関によって妨げられる。既存の概念除去手法は、モデルの主要なタスクに関連する機能を不注意に排除することで、過熱する傾向にある。本稿では,ニューラルネットワーク表現における2つの低次元部分空間を共同で同定することにより,主タスク概念から突発性を分離する反復アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-18T14:22:36Z)
Navigating Neural Space: Revisiting Concept Activation Vectors to Overcome Directional Divergence [14.071950294953005]
概念活性化ベクトル (Concept Activation Vectors, CAV) は、潜在空間における人間の理解可能な概念をモデル化するための一般的なツールである。本稿では、そのような分離性指向の解が、概念の方向性を正確にモデル化する実際の目標から逸脱する可能性があることを示す。パターンベースのCAVを導入し、概念信号のみに着目し、より正確な概念指示を提供する。
論文参考訳（メタデータ） (2022-02-07T19:40:20Z)
Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文参考訳（メタデータ） (2021-10-26T17:00:16Z)
Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文参考訳（メタデータ） (2021-04-13T12:20:18Z)
Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
論文参考訳（メタデータ） (2021-03-03T20:20:48Z)
Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。