論文の概要: Towards White Box Deep Learning
- arxiv url: http://arxiv.org/abs/2403.09863v5
- Date: Wed, 17 Apr 2024 17:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 18:41:31.822939
- Title: Towards White Box Deep Learning
- Title(参考訳): ホワイトボックスの深層学習に向けて
- Authors: Maciej Satkiewicz,
- Abstract要約: 本稿では,この問題に対する一般的なアーキテクチャ的解決策としてセマンティックな特徴を提案する。
主な考え方は、ドメインの適切な意味的トポロジに特徴を局所性に敏感にすることである。
概念ネットワークの証明は軽量であり、本質的に解釈可能であり、ほぼ人間レベルの対角テストのメトリクスを達成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks learn fragile "shortcut" features, rendering them difficult to interpret (black box) and vulnerable to adversarial attacks. This paper proposes semantic features as a general architectural solution to this problem. The main idea is to make features locality-sensitive in the adequate semantic topology of the domain, thus introducing a strong regularization. The proof of concept network is lightweight, inherently interpretable and achieves almost human-level adversarial test metrics - with no adversarial training! These results and the general nature of the approach warrant further research on semantic features. The code is available at https://github.com/314-Foundation/white-box-nn
- Abstract(参考訳): ディープニューラルネットワークは脆弱な"ショートカット"機能を学び、解釈(ブラックボックス)が困難になり、敵の攻撃に対して脆弱になる。
本稿では,この問題に対する一般的なアーキテクチャ的解決策としてセマンティックな特徴を提案する。
主な考え方は、ドメインの適切な意味的トポロジに特徴を局所性に敏感にすることで、強い正規化を導入することである。
コンセプトネットワークの証明は軽量で、本質的に解釈可能で、ほぼ人間レベルの対人テストのメトリクスを達成します。
これらの結果とアプローチの一般的な性質は、意味的特徴に関するさらなる研究を保証している。
コードはhttps://github.com/314-Foundation/white-box-nnで公開されている。
関連論文リスト
- (Not) Understanding Latin Poetic Style with Deep Learning [0.0]
この記事では、様々なニューラルネットワークの注意点を調べることによって、著者のスタイルを理解するのに失敗した試みを要約する。
そのため、著者のスタイルの違いについて、伝統的な読者に何か教えることが期待されている。
残念ながら、彼らの推論は精査できない。
論文 参考訳(メタデータ) (2024-04-09T09:21:56Z) - Explaining Deep Learning Hidden Neuron Activations using Concept
Induction [3.6223658572137825]
最先端技術は、隠れたノードのアクティベーションが人間にとって意味のある方法で解釈可能であることを示している。
畳み込みニューラルネットワークの高密度層において,背景知識から意味のあるラベルを個々のニューロンに自動的にアタッチできることを示す。
論文 参考訳(メタデータ) (2023-01-23T18:14:32Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳(メタデータ) (2022-12-12T13:10:19Z) - Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud [69.36717778451667]
大規模なポイントクラウドセマンティックセグメンテーションのための既存の方法は、高価な、退屈でエラーを起こしやすい手動のポイントワイドアノテーションを必要とする。
この問題を解決するために,2つのコンポーネントを含む効果的な弱教師付き手法を提案する。
実験結果から,既存の弱教師付き手法と完全教師付き手法を比較検討した。
論文 参考訳(メタデータ) (2022-12-09T09:42:26Z) - Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。
分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文 参考訳(メタデータ) (2022-02-10T21:45:49Z) - On the Compression of Natural Language Models [0.0]
我々は、量子化、知識蒸留、プルーニングといった最先端の圧縮技術についてレビューする。
本研究の目的は、自然言語モデル(NLM)にそのような訓練可能なサブネットワークが存在するかどうかを評価することである。
論文 参考訳(メタデータ) (2021-12-13T08:14:21Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳(メタデータ) (2021-10-26T17:00:16Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳(メタデータ) (2020-08-04T05:41:29Z) - How benign is benign overfitting? [96.07549886487526]
深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。
ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。
我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
論文 参考訳(メタデータ) (2020-07-08T11:07:10Z) - Adversarial Feature Desensitization [12.401175943131268]
本稿では,ドメイン適応分野からの洞察を基盤とした,対向ロバスト性に対する新しいアプローチを提案する。
提案手法は,入力の逆方向の摂動に対して不変な特徴を学習することを目的として,AFD(Adversarial Feature Desensitization)と呼ばれる。
論文 参考訳(メタデータ) (2020-06-08T14:20:02Z) - Bias-based Universal Adversarial Patch Attack for Automatic Check-out [59.355948824578434]
逆の例は、ディープニューラルネットワーク(DNN)を簡単に誤解させる、知覚不能な摂動を持つ入力である。
既存の戦略は強力な一般化能力を持つ敵パッチを生成できなかった。
本稿では,強い一般化能力を持つクラス非依存の普遍的敵パッチを生成するためのバイアスベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-05-19T07:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。