論文の概要: Bort: Towards Explainable Neural Networks with Bounded Orthogonal Constraint

• arxiv url: http://arxiv.org/abs/2212.09062v1
• Date: Sun, 18 Dec 2022 11:02:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 15:26:59.185801
• Title: Bort: Towards Explainable Neural Networks with Bounded Orthogonal Constraint
• Title（参考訳）: Bort: 境界直交制約を持つ説明可能なニューラルネットワークを目指して
• Authors: Borui Zhang, Wenzhao Zheng, Jie Zhou, Jiwen Lu
• Abstract要約: モデル説明可能性を改善するアルゴリズムであるBortを紹介する。 Bortに基づいて、追加のパラメータやトレーニングを必要とせずに、説明可能な対数サンプルを合成できる。 Bortは、MNIST上のResNetやDeiT、CIFAR-10、ImageNetなど、さまざまなアーキテクチャの分類精度を常に改善している。
• 参考スコア（独自算出の注目度）: 90.69718495533144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has revolutionized human society, yet the black-box nature of deep neural networks hinders further application to reliability-demanded industries. In the attempt to unpack them, many works observe or impact internal variables to improve the model's comprehensibility and transparency. However, existing methods rely on intuitive assumptions and lack mathematical guarantees. To bridge this gap, we introduce Bort, an optimizer for improving model explainability with boundedness and orthogonality constraints on model parameters, derived from the sufficient conditions of model comprehensibility and transparency. We perform reconstruction and backtracking on the model representations optimized by Bort and observe an evident improvement in model explainability. Based on Bort, we are able to synthesize explainable adversarial samples without additional parameters and training. Surprisingly, we find Bort constantly improves the classification accuracy of various architectures including ResNet and DeiT on MNIST, CIFAR-10, and ImageNet.
• Abstract（参考訳）: ディープラーニングは人間の社会に革命をもたらしたが、深層ニューラルネットワークのブラックボックスの性質は、信頼性の高い産業へのさらなる適用を妨げる。 それらを解き放つ試みでは、多くの作業が内部変数を観察し、モデルの理解性と透明性を改善するために影響する。 しかし、既存の手法は直観的な仮定に依存し、数学的保証を欠いている。 このギャップを埋めるために、モデル理解性と透明性の十分な条件からモデルパラメータの有界性と直交性制約によるモデル説明可能性を改善する最適化器であるBortを導入する。 我々は,bort が最適化したモデル表現の再構成とバックトラックを行い,モデル説明可能性の明らかな改善を観察する。 bortに基づき、追加のパラメータやトレーニングなしで説明可能な逆サンプルを合成することができる。 驚いたことに、BortはMNIST上のResNetやDeiT、CIFAR-10、ImageNetなど、さまざまなアーキテクチャの分類精度を常に改善している。

関連論文リスト

• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Understanding Adversarial Robustness from Feature Maps of Convolutional Layers [23.42376264664302]
  ニューラルネットワークの摂動能力は、主にモデル容量と摂動能力の2つの要因に依存している。 畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。 自然な精度と敵の堅牢性の両面での非自明な改善は、様々な攻撃・防御機構の下で達成できる。
  論文  参考訳（メタデータ） (2022-02-25T00:14:59Z)
• SalFBNet: Learning Pseudo-Saliency Distribution via Feedback Convolutional Networks [8.195696498474579]
  本稿では,サリエンシ検出のためのフィードバック再帰的畳み込みフレームワーク(SalFBNet)を提案する。 大規模Pseudo-Saliencyデータセットを作成し、唾液度検出におけるデータ不足の問題を軽減する。
  論文  参考訳（メタデータ） (2021-12-07T14:39:45Z)
• Recurrence-Aware Long-Term Cognitive Network for Explainable Pattern Classification [0.0]
  構造化データの解釈可能なパターン分類のためのLCCNモデルを提案する。 本手法は, 決定過程における各特徴の関連性を定量化し, 説明を提供する独自のメカニズムを提供する。 解釈可能なモデルでは,最先端の白黒ボックスと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2021-07-07T18:14:50Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Interpolation between Residual and Non-Residual Networks [24.690238357686134]
  ダンピング項を追加することで,新しいODEモデルを提案する。 提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。 複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-06-10T09:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。