論文の概要: A Conceptual Framework For White Box Neural Networks
- arxiv url: http://arxiv.org/abs/2403.09863v1
- Date: Thu, 14 Mar 2024 20:50:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 21:05:51.187366
- Title: A Conceptual Framework For White Box Neural Networks
- Title(参考訳): ホワイトボックスニューラルネットワークのための概念的フレームワーク
- Authors: Maciej Satkiewicz,
- Abstract要約: 本稿では、完全に説明可能なニューラルネットワーク層のための一般的な概念的枠組みとして意味的特徴を紹介する。
MNISTの関連するサブプロブレムに対するよく動機付けられた概念モデルの証明は、合計4.8Kの学習可能なパラメータを持つ4つの層で構成されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces semantic features as a general conceptual framework for fully explainable neural network layers. A well-motivated proof of concept model for relevant subproblem of MNIST consists of 4 such layers with the total of 4.8K learnable parameters. The model is easily interpretable, achieves human-level adversarial test accuracy with no form of adversarial training, requires little hyperparameter tuning and can be quickly trained on a single CPU. The general nature of the technique bears promise for a paradigm shift towards radically democratised and truly generalizable white box neural networks. The code is available at https://github.com/314-Foundation/white-box-nn
- Abstract(参考訳): 本稿では、完全に説明可能なニューラルネットワーク層のための一般的な概念的枠組みとして意味的特徴を紹介する。
MNISTの関連するサブプロブレムに対するよく動機付けられた概念モデルの証明は、合計4.8Kの学習可能なパラメータを持つ4つの層で構成されている。
このモデルは容易に解釈可能で、対向訓練の形で人間レベルの対向テスト精度を実現し、ハイパーパラメータチューニングをほとんど必要とせず、単一のCPUで迅速にトレーニングできる。
このテクニックの一般的な性質は、根本的に民主化され、真に一般化可能なホワイトボックスニューラルネットワークへのパラダイムシフトを約束している。
コードはhttps://github.com/314-Foundation/white-box-nnで公開されている。
関連論文リスト
- Improving Adversarial Robustness via Decoupled Visual Representation Masking [65.73203518658224]
本稿では,特徴分布の観点から,ロバストな特徴の2つの新しい特性を強調した。
現状の防衛手法は、上記の2つの問題にうまく対処することを目的としている。
具体的には、分離された視覚的表現マスキングに基づく、シンプルだが効果的な防御法を提案する。
論文 参考訳(メタデータ) (2024-06-16T13:29:41Z) - Spectral regularization for adversarially-robust representation learning [32.84188052937496]
下流の分類タスクにおけるブラックボックスの対角ロバスト性を促進する表現学習のための新しいスペクトル正規化器を提案する。
本手法は, ネットワークのすべての層を正規化する手法よりも, テスト精度とロバスト性の向上に有効であることを示す。
論文 参考訳(メタデータ) (2024-05-27T14:01:42Z) - Can Implicit Bias Imply Adversarial Robustness? [36.467655284354606]
勾配に基づくトレーニングアルゴリズムの暗黙のバイアスは、しばしばよく一般化されるトレーニングネットワークにつながるため、主に有益であると考えられている。
しかし、Frei et al. (2023) は、そのような暗黙の偏見が敵の堅牢性を傷つけることを示した。
この結果から,トレーニングネットワークの暗黙的バイアスとロバスト性において,データ構造とアーキテクチャの相互作用の重要性を強調した。
論文 参考訳(メタデータ) (2024-05-24T21:09:53Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳(メタデータ) (2024-05-12T22:18:25Z) - (Not) Understanding Latin Poetic Style with Deep Learning [0.0]
この記事では、様々なニューラルネットワークの注意点を調べることによって、著者のスタイルを理解するのに失敗した試みを要約する。
そのため、著者のスタイルの違いについて、伝統的な読者に何か教えることが期待されている。
残念ながら、彼らの推論は精査できない。
論文 参考訳(メタデータ) (2024-04-09T09:21:56Z) - Explaining Deep Learning Hidden Neuron Activations using Concept
Induction [3.6223658572137825]
最先端技術は、隠れたノードのアクティベーションが人間にとって意味のある方法で解釈可能であることを示している。
畳み込みニューラルネットワークの高密度層において,背景知識から意味のあるラベルを個々のニューロンに自動的にアタッチできることを示す。
論文 参考訳(メタデータ) (2023-01-23T18:14:32Z) - Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。
分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文 参考訳(メタデータ) (2022-02-10T21:45:49Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳(メタデータ) (2021-10-26T17:00:16Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳(メタデータ) (2020-08-04T05:41:29Z) - How benign is benign overfitting? [96.07549886487526]
深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。
ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。
我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
論文 参考訳(メタデータ) (2020-07-08T11:07:10Z) - Bias-based Universal Adversarial Patch Attack for Automatic Check-out [59.355948824578434]
逆の例は、ディープニューラルネットワーク(DNN)を簡単に誤解させる、知覚不能な摂動を持つ入力である。
既存の戦略は強力な一般化能力を持つ敵パッチを生成できなかった。
本稿では,強い一般化能力を持つクラス非依存の普遍的敵パッチを生成するためのバイアスベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-05-19T07:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。