論文の概要: B-cosification: Transforming Deep Neural Networks to be Inherently Interpretable

• arxiv url: http://arxiv.org/abs/2411.00715v1
• Date: Fri, 01 Nov 2024 16:28:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:09.495991
• Title: B-cosification: Transforming Deep Neural Networks to be Inherently Interpretable
• Title（参考訳）: B-cosification: 深層ニューラルネットワークを本質的に解釈可能なものに変換する
• Authors: Shreyash Arya, Sukrut Rao, Moritz Böhle, Bernt Schiele,
• Abstract要約: B-コシフィケーション(B-cosification)は、既存の訓練済みモデルを本質的に解釈可能なものにするための新しいアプローチである。 B-コシフィケーションは、解釈可能性の観点から、スクラッチから訓練されたB-コシフィケーションモデルに匹敵するモデルが得られる。
• 参考スコア（独自算出の注目度）: 53.848005910548565
• License:
• Abstract: B-cos Networks have been shown to be effective for obtaining highly human interpretable explanations of model decisions by architecturally enforcing stronger alignment between inputs and weight. B-cos variants of convolutional networks (CNNs) and vision transformers (ViTs), which primarily replace linear layers with B-cos transformations, perform competitively to their respective standard variants while also yielding explanations that are faithful by design. However, it has so far been necessary to train these models from scratch, which is increasingly infeasible in the era of large, pre-trained foundation models. In this work, inspired by the architectural similarities in standard DNNs and B-cos networks, we propose 'B-cosification', a novel approach to transform existing pre-trained models to become inherently interpretable. We perform a thorough study of design choices to perform this conversion, both for convolutional neural networks and vision transformers. We find that B-cosification can yield models that are on par with B-cos models trained from scratch in terms of interpretability, while often outperforming them in terms of classification performance at a fraction of the training cost. Subsequently, we apply B-cosification to a pretrained CLIP model, and show that, even with limited data and compute cost, we obtain a B-cosified version that is highly interpretable and competitive on zero shot performance across a variety of datasets. We release our code and pre-trained model weights at https://github.com/shrebox/B-cosification.
• Abstract（参考訳）: B-cos Networksは、入力と重みのより強いアライメントをアーキテクチャ的に実施することにより、モデル決定の高度に解釈可能な説明を得るのに有効であることが示されている。 畳み込みネットワーク(CNN)と視覚変換器(ViT)のB-cos変種は、主に線形層をB-cos変態に置き換え、それぞれの標準変種と競合し、設計に忠実な説明を与える。 しかし、これらのモデルをスクラッチからトレーニングする必要があったため、大規模で事前訓練された基礎モデルの時代には、ますます実現不可能になっている。 本研究は,標準DNNとBコスネットワークのアーキテクチャ的類似性に着想を得て,既存の事前学習モデルを本質的に解釈可能なものにするための新しいアプローチとして,Bコシフィケーション(B-cosification)を提案する。 我々は、畳み込みニューラルネットワークと視覚変換器の両方に対して、この変換を行う設計選択について徹底的に研究する。 B-コシフィケーションは、スクラッチから訓練されたB-コスモデルと同等のモデルが得られるが、学習コストのごく一部で分類性能に優れることが多い。 その後、事前訓練されたCLIPモデルにB-cosificationを適用し、制限されたデータと計算コストであっても、さまざまなデータセットでゼロショット性能に対して高い解釈性と競合性を持つB-cosificationバージョンが得られることを示す。 コードと事前トレーニングされたモデルの重み付けはhttps://github.com/shrebox/B-cosification.comで公開しています。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)
• State-driven Implicit Modeling for Sparsity and Robustness in Neural Networks [3.604879434384177]
  SIM(State-driven Implicit Modeling)と呼ばれる暗黙的モデルをトレーニングするための新しいアプローチを提案する。 SIMは内部の状態と出力をベースラインモデルと一致させ、コストのかかる後方計算を回避する。 本稿では,データセット上でトレーニングされたベースラインモデルの空間性とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。
  論文  参考訳（メタデータ） (2022-09-19T23:58:48Z)
• B-cos Networks: Alignment is All We Need for Interpretability [136.27303006772294]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 B-コス変換は、完全なモデル計算を忠実に要約する単一の線形変換を誘導する。 VGGs、ResNets、InceptionNets、DenseNetsといった一般的なモデルに簡単に統合できることを示します。
  論文  参考訳（メタデータ） (2022-05-20T16:03:29Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• On Resource-Efficient Bayesian Network Classifiers and Deep Neural Networks [14.540226579203207]
  ベイズネットワーク(BN)分類器の複雑さを低減するための2つの方法を提案する。 まず、ストレートスルー勾配推定器を用いてBNのパラメータを数ビットに量子化する量子化学習を導入する。 第2に、モデルサイズも考慮し、最近提案された微分可能な木強化ナイーブベイズ (TAN) 構造学習手法を拡張した。
  論文  参考訳（メタデータ） (2020-10-22T14:47:55Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。