論文の概要: Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity

• arxiv url: http://arxiv.org/abs/2211.07774v1
• Date: Mon, 14 Nov 2022 22:17:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:06:04.926455
• Title: Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity
• Title（参考訳）: ニューラルネットワークにおけるバイアスの解釈:表現の類似性への視点
• Authors: Gnyanesh Bangaru, Lalith Bharadwaj Baru and Kiran Chakravarthula
• Abstract要約: 偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks trained on standard image classification data sets are shown to be less resistant to data set bias. It is necessary to comprehend the behavior objective function that might correspond to superior performance for data with biases. However, there is little research on the selection of the objective function and its representational structure when trained on data set with biases. In this paper, we investigate the performance and internal representational structure of convolution-based neural networks (e.g., ResNets) trained on biased data using various objective functions. We specifically study similarities in representations, using Centered Kernel Alignment (CKA), for different objective functions (probabilistic and margin-based) and offer a comprehensive analysis of the chosen ones. According to our findings, ResNets representations obtained with Negative Log Likelihood $(\mathcal{L}_{NLL})$ and Softmax Cross-Entropy ($\mathcal{L}_{SCE}$) as loss functions are equally capable of producing better performance and fine representations on biased data. We note that without progressive representational similarities among the layers of a neural network, the performance is less likely to be robust.
• Abstract（参考訳）: 標準画像分類データセットに基づいてトレーニングされたニューラルネットワークは、データセットバイアスに対する耐性が低いことが示されている。 バイアスのあるデータに対する優れた性能に対応する可能性のある行動目的関数を理解する必要がある。 しかし、偏りのあるデータセット上でトレーニングされた場合、目的関数の選択とその表現構造に関する研究はほとんどない。 本稿では,様々な目的関数を用いたバイアスデータに基づく畳み込み型ニューラルネットワーク(resnetなど)の性能と内部表現構造について検討する。 具体的には、CKA(Centered Kernel Alignment)を用いて、異なる目的関数(確率的、マージン的)に対して、表現の類似性を研究し、選択した関数の包括的分析を行う。 我々の発見によると、損失関数はバイアスデータ上でより優れたパフォーマンスと微細な表現を生み出すことができるため、負のLog Likelihood$(\mathcal{L}_{NLL})$およびSoftmax Cross-Entropy$(\mathcal{L}_{SCE}$)で得られたResNets表現が等しく得られる。 ニューラルネットワークのレイヤ間のプログレッシブな表現の類似性がなければ、パフォーマンスが堅牢になる可能性は低いことに注意する。

関連論文リスト

• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• UnbiasedNets: A Dataset Diversification Framework for Robustness Bias Alleviation in Neural Networks [11.98126285848966]
  最も正確なNNでさえ、利用可能なトレーニングデータセットに固有のバイアスがあるため、特定の出力分類に偏りがある。 本論文は、ある出力クラスにおいて、雑音に対するロバスト性が大きく、訓練されたNNが提示するロバスト性バイアスを扱う。 K平均クラスタリングとNNの雑音耐性を利用して、与えられたトレーニングデータセットを多様化するUnbiasedNetsフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:49:43Z)
• Inducing Neural Collapse in Deep Long-tailed Learning [13.242721780822848]
  クラス不均衡データの高品質な表現を学習するための2つの明示的な特徴正規化項を提案する。 提案された正規化により、ニューラル崩壊現象はクラス不均衡分布の下に現れる。 本手法は, 実装が容易で, 有効であり, 既存のほとんどの方法に組み込むことができる。
  論文  参考訳（メタデータ） (2023-02-24T05:07:05Z)
• Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification [0.0]
  我々は、データのスムーズさを保ちながら不変な新しいタイプのニューラルネットワークを導入する:関数型ニューラルネットワーク(FNN) そこで我々は,多層パーセプトロンと畳み込みニューラルネットワークを機能データに拡張するために,機能データ分析(FDA)の手法を用いる。 脳波(EEG)データの分類にFNNをうまく利用し,FDAのベンチマークモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-14T09:41:21Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。