論文の概要: Removing Spurious Concepts from Neural Network Representations via Joint Subspace Estimation

• arxiv url: http://arxiv.org/abs/2310.11991v2
• Date: Mon, 22 Jul 2024 21:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 23:23:10.483074
• Title: Removing Spurious Concepts from Neural Network Representations via Joint Subspace Estimation
• Title（参考訳）: 結合部分空間推定によるニューラルネットワーク表現からの余剰概念の除去
• Authors: Floris Holstege, Bram Wouters, Noud van Giersbergen, Cees Diks,
• Abstract要約: ニューラルネットワークにおけるアウト・オブ・ディストリビューションの一般化は、しばしば素早い相関によって妨げられる。 既存の概念除去手法は、モデルの主要なタスクに関連する機能を不注意に排除することで、過熱する傾向にある。 本稿では,ニューラルネットワーク表現における2つの低次元部分空間を共同で同定することにより,主タスク概念から突発性を分離する反復アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution generalization in neural networks is often hampered by spurious correlations. A common strategy is to mitigate this by removing spurious concepts from the neural network representation of the data. Existing concept-removal methods tend to be overzealous by inadvertently eliminating features associated with the main task of the model, thereby harming model performance. We propose an iterative algorithm that separates spurious from main-task concepts by jointly identifying two low-dimensional orthogonal subspaces in the neural network representation. We evaluate the algorithm on benchmark datasets for computer vision (Waterbirds, CelebA) and natural language processing (MultiNLI), and show that it outperforms existing concept removal methods
• Abstract（参考訳）: ニューラルネットワークにおけるアウト・オブ・ディストリビューションの一般化は、しばしば素早い相関によって妨げられる。 一般的な戦略は、データのニューラルネットワーク表現から突発的な概念を取り除き、これを緩和することである。 既存の概念除去手法は、モデルの主要なタスクに関連する機能を不注意に排除し、モデル性能を損なう傾向にある。 本稿では,ニューラルネットワーク表現における2つの低次元直交部分空間を共同で同定することにより,主タスク概念から突発性を分離する反復アルゴリズムを提案する。 コンピュータビジョン (Waterbirds, CelebA) と自然言語処理 (MultiNLI) のベンチマークデータセット上でのアルゴリズムの評価を行い, 既存の概念除去手法よりも優れていることを示す。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Automatic Discovery of Visual Circuits [66.99553804855931]
  本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。 提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T17:00:57Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision [25.449397570387802]
  本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。 我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。 データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
  論文  参考訳（メタデータ） (2023-12-28T07:33:51Z)
• Deep Concept Removal [29.65899467379793]
  ディープニューラルネットワークにおける概念除去の問題に対処する。 本稿では,概念データセットに基づいて学習した逆線形分類器に基づく新しい手法を提案する。 また,逆行訓練に伴う課題に対処するために,暗黙の勾配に基づく手法を導入する。
  論文  参考訳（メタデータ） (2023-10-09T14:31:03Z)
• Spiking Generative Adversarial Network with Attention Scoring Decoding [4.5727987473456055]
  スパイクニューラルネットワークは、脳のような処理に近づいた近似を提供する。 我々は複雑な画像を扱うことができるスパイク生成対向ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-05-17T14:35:45Z)
• Fitting Low-rank Models on Egocentrically Sampled Partial Networks [4.111899441919165]
  本稿では,egocentricly sampled network に対する一般的な低ランクモデルに適合する手法を提案する。 この手法は、エゴセントリックな部分的ネットワーク推定に関する最初の理論的保証を提供する。 本手法を複数の合成および実世界のネットワーク上で評価し,リンク予測タスクにおいて競合性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-09T03:20:44Z)
• SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images [94.36401543589523]
  これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。 次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。 私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
  論文  参考訳（メタデータ） (2021-01-19T02:41:03Z)
• Generate and Verify: Semantically Meaningful Formal Analysis of Neural Network Perception Systems [2.2559617939136505]
  ニューラルネットワーク認識システムの精度を評価するためにテストが続けられている。 我々は、モデルが常に基底真理に結びついたある誤差内で推定を生成することを証明するために、ニューラルネットワークの検証を用いる。
  論文  参考訳（メタデータ） (2020-12-16T23:09:53Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。