論文の概要: Concept Whitening for Interpretable Image Recognition

• arxiv url: http://arxiv.org/abs/2002.01650v5
• Date: Mon, 7 Dec 2020 19:09:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 20:44:54.133542
• Title: Concept Whitening for Interpretable Image Recognition
• Title（参考訳）: 解釈可能な画像認識のためのコンセプトホワイトニング
• Authors: Zhi Chen, Yijie Bei and Cynthia Rudin
• Abstract要約: 機械学習の解釈性は間違いなく重要だが、ニューラルネットワークの計算は非常に理解が難しい。 概念白化(concept Whitening, CW)と呼ばれるメカニズムを導入し、ネットワークの特定のレイヤを変更して、そのレイヤにつながる計算をよりよく理解できるようにします。 CWは、予測性能を損なうことなく、ネットワークの任意の層で使用することができる。
• 参考スコア（独自算出の注目度）: 27.170271827695178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What does a neural network encode about a concept as we traverse through the layers? Interpretability in machine learning is undoubtedly important, but the calculations of neural networks are very challenging to understand. Attempts to see inside their hidden layers can either be misleading, unusable, or rely on the latent space to possess properties that it may not have. In this work, rather than attempting to analyze a neural network posthoc, we introduce a mechanism, called concept whitening (CW), to alter a given layer of the network to allow us to better understand the computation leading up to that layer. When a concept whitening module is added to a CNN, the axes of the latent space are aligned with known concepts of interest. By experiment, we show that CW can provide us a much clearer understanding for how the network gradually learns concepts over layers. CW is an alternative to a batch normalization layer in that it normalizes, and also decorrelates (whitens) the latent space. CW can be used in any layer of the network without hurting predictive performance.
• Abstract（参考訳）: 階層を横切るとき、ニューラルネットワークは概念をコード化するのだろうか? 機械学習の解釈性は間違いなく重要だが、ニューラルネットワークの計算は非常に理解が難しい。 隠されたレイヤの内部を見る試みは、誤解を招くか、使用できないか、潜在空間に依存して、それが持っていないプロパティを持つかのどちらかである。 この研究では、ニューラルネットワークのポストホックを分析するのではなく、概念ホワイトニング(concept Whitening, CW)と呼ばれるメカニズムを導入し、ネットワークの特定の層を変更して、その層につながる計算をよりよく理解できるようにします。 概念のホワイト化モジュールがcnnに追加されると、潜在空間の軸は既知の興味のある概念と一致する。 実験により、cwはネットワークがどのように層を越えて概念を徐々に学習するかを、より明確に理解できることを示した。 CWは、バッチ正規化層に代わるもので、正規化され、また(白色の)遅延空間をデコレーションする。 CWは、予測性能を損なうことなく、ネットワークの任意の層で使用することができる。

関連論文リスト

• Visualizing Neural Network Imagination [2.1749194587826026]
  ある状況では、ニューラルネットワークは、隠れたアクティベーションの環境状態を表現します。 私たちのゴールは、ネットワークが表現している環境を可視化することです。 定量的解釈可能性尺度を定義し、隠れた状態が高度に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T11:43:35Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
  神経進化への伝統的なアプローチは、しばしばゼロから始まる。 アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。 我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
  論文  参考訳（メタデータ） (2024-03-21T08:30:44Z)
• Sharpness-Aware Minimization Leads to Low-Rank Features [49.64754316927016]
  シャープネス認識最小化(SAM)は、ニューラルネットワークのトレーニング損失を最小限に抑える手法である。 SAMはニューラルネットワークの異なる層で発生する特徴ランクを減少させる。 我々はこの効果を理論的に確認し、深層ネットワークでも起こりうることを確認する。
  論文  参考訳（メタデータ） (2023-05-25T17:46:53Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• How Convolutional Neural Network Architecture Biases Learned Opponency and Colour Tuning [1.0742675209112622]
  最近の研究は、第2層にボトルネックを導入して畳み込みニューラルネットワーク(CNN)アーキテクチャを変更することで、学習機能の変化をもたらすことを示唆している。 この関係を完全に理解するには、訓練されたネットワークを定量的に比較する方法が必要である。 畳み込みニューロンに対する空間的および色調曲線を得るためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-06T11:33:48Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Subspace Capsule Network [85.69796543499021]
  SubSpace Capsule Network (SCN) はカプセルネットワークのアイデアを利用して、エンティティの外観や暗黙的に定義された特性のバリエーションをモデル化する。 SCNは、テスト期間中にCNNと比較して計算オーバーヘッドを発生させることなく、識別モデルと生成モデルの両方に適用することができる。
  論文  参考訳（メタデータ） (2020-02-07T17:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。