論文の概要: Removing Spurious Concepts from Neural Network Representations via Joint
Subspace Estimation
- arxiv url: http://arxiv.org/abs/2310.11991v1
- Date: Wed, 18 Oct 2023 14:22:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 16:14:59.583188
- Title: Removing Spurious Concepts from Neural Network Representations via Joint
Subspace Estimation
- Title(参考訳): ジョイント部分空間推定によるニューラルネットワーク表現からのスプリアス概念の除去
- Authors: Floris Holstege, Bram Wouters, Noud van Giersbergen, Cees Diks
- Abstract要約: ニューラルネットワークにおけるアウト・オブ・ディストリビューションの一般化は、しばしば素早い相関によって妨げられる。
既存の概念除去手法は、モデルの主要なタスクに関連する機能を不注意に排除することで、過熱する傾向にある。
本稿では,ニューラルネットワーク表現における2つの低次元部分空間を共同で同定することにより,主タスク概念から突発性を分離する反復アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution generalization in neural networks is often hampered by
spurious correlations. A common strategy is to mitigate this by removing
spurious concepts from the neural network representation of the data. Existing
concept-removal methods tend to be overzealous by inadvertently eliminating
features associated with the main task of the model, thereby harming model
performance. We propose an iterative algorithm that separates spurious from
main-task concepts by jointly identifying two low-dimensional orthogonal
subspaces in the neural network representation. We evaluate the algorithm on
benchmark datasets for computer vision (Waterbirds, CelebA) and natural
language processing (MultiNLI), and show that it outperforms existing concept
removal methods
- Abstract(参考訳): ニューラルネットワークにおける分散の一般化は、しばしばスプリアス相関によって妨げられる。
一般的な戦略は、データのニューラルネットワーク表現から突発的な概念を取り除き、これを緩和することである。
既存の概念除去手法は、モデルの主要なタスクに関連する機能を不注意に排除し、モデル性能を損なう傾向にある。
本稿では,ニューラルネットワーク表現における2つの低次元直交部分空間を共同で同定することにより,主課題概念からスプリアスを分離する反復アルゴリズムを提案する。
コンピュータビジョン (Waterbirds, CelebA) と自然言語処理 (MultiNLI) のベンチマークデータセット上でのアルゴリズムの評価を行い, 既存の概念除去手法よりも優れていることを示す。
関連論文リスト
- Understanding Distributed Representations of Concepts in Deep Neural
Networks without Supervision [25.449397570387802]
本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。
我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。
データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
論文 参考訳(メタデータ) (2023-12-28T07:33:51Z) - Deep Concept Removal [29.65899467379793]
ディープニューラルネットワークにおける概念除去の問題に対処する。
本稿では,概念データセットに基づいて学習した逆線形分類器に基づく新しい手法を提案する。
また,逆行訓練に伴う課題に対処するために,暗黙の勾配に基づく手法を導入する。
論文 参考訳(メタデータ) (2023-10-09T14:31:03Z) - Spiking Generative Adversarial Network with Attention Scoring Decoding [4.5727987473456055]
スパイクニューラルネットワークは、脳のような処理に近づいた近似を提供する。
我々は複雑な画像を扱うことができるスパイク生成対向ネットワークを構築した。
論文 参考訳(メタデータ) (2023-05-17T14:35:45Z) - Fitting Low-rank Models on Egocentrically Sampled Partial Networks [4.111899441919165]
本稿では,egocentricly sampled network に対する一般的な低ランクモデルに適合する手法を提案する。
この手法は、エゴセントリックな部分的ネットワーク推定に関する最初の理論的保証を提供する。
本手法を複数の合成および実世界のネットワーク上で評価し,リンク予測タスクにおいて競合性能を実現することを示す。
論文 参考訳(メタデータ) (2023-03-09T03:20:44Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳(メタデータ) (2022-06-06T14:26:34Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳(メタデータ) (2022-05-16T06:49:36Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from
Monocular images [94.36401543589523]
これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。
次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。
私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
論文 参考訳(メタデータ) (2021-01-19T02:41:03Z) - Generate and Verify: Semantically Meaningful Formal Analysis of Neural
Network Perception Systems [2.2559617939136505]
ニューラルネットワーク認識システムの精度を評価するためにテストが続けられている。
我々は、モデルが常に基底真理に結びついたある誤差内で推定を生成することを証明するために、ニューラルネットワークの検証を用いる。
論文 参考訳(メタデータ) (2020-12-16T23:09:53Z) - Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する
実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文 参考訳(メタデータ) (2020-07-17T19:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。