論文の概要: Adaptive wavelet distillation from neural networks through
interpretations
- arxiv url: http://arxiv.org/abs/2107.09145v1
- Date: Mon, 19 Jul 2021 20:40:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 15:08:47.498830
- Title: Adaptive wavelet distillation from neural networks through
interpretations
- Title（参考訳）: 解釈によるニューラルネットワークからの適応ウェーブレット蒸留
- Authors: Wooseok Ha, Chandan Singh, Francois Lanusse, Eli Song, Song Dang,
Kangmin He, Srigokul Upadhyayula, Bin Yu
- Abstract要約: 解釈可能性は科学や医学など多くの分野において重要であり、モデルは慎重に検証されなければならない。
本稿では,適応型ウェーブレット蒸留法(AWD)を提案する。
本稿では、宇宙パラメータ推論と分子パートナー予測の2つの現実的な設定において、AWDが課題にどう対処するかを示す。
- 参考スコア（独自算出の注目度）: 10.923598153317567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent deep-learning models have achieved impressive prediction performance,
but often sacrifice interpretability and computational efficiency.
Interpretability is crucial in many disciplines, such as science and medicine,
where models must be carefully vetted or where interpretation is the goal
itself. Moreover, interpretable models are concise and often yield
computational efficiency. Here, we propose adaptive wavelet distillation (AWD),
a method which aims to distill information from a trained neural network into a
wavelet transform. Specifically, AWD penalizes feature attributions of a neural
network in the wavelet domain to learn an effective multi-resolution wavelet
transform. The resulting model is highly predictive, concise, computationally
efficient, and has properties (such as a multi-scale structure) which make it
easy to interpret. In close collaboration with domain experts, we showcase how
AWD addresses challenges in two real-world settings: cosmological parameter
inference and molecular-partner prediction. In both cases, AWD yields a
scientifically interpretable and concise model which gives predictive
performance better than state-of-the-art neural networks. Moreover, AWD
identifies predictive features that are scientifically meaningful in the
context of respective domains. All code and models are released in a
full-fledged package available on Github
(https://github.com/Yu-Group/adaptive-wavelets).
- Abstract（参考訳）: 最近のディープラーニングモデルは印象的な予測性能を達成したが、しばしば解釈可能性と計算効率を犠牲にしている。
解釈可能性(英語版)は、科学や医学など多くの分野において不可欠であり、モデルが慎重に審査されるか、あるいは解釈が目的そのものである必要がある。
さらに、解釈可能なモデルは簡潔であり、しばしば計算効率をもたらす。
本稿では,訓練されたニューラルネットワークからウェーブレット変換へ情報を蒸留することを目的とした適応ウェーブレット蒸留(awd)を提案する。
特に、AWDはウェーブレット領域におけるニューラルネットワークの特徴属性をペナルティ化し、効果的なマルチ解像度ウェーブレット変換を学習する。
結果のモデルは非常に予測的で簡潔で計算効率が高く、解釈が容易な特性(マルチスケール構造など)を持つ。
ドメインエキスパートとの密接なコラボレーションでは、宇宙パラメータ推論と分子パートナー予測という、2つの現実世界の課題にAWDがどう対処するかを示す。
どちらの場合も、AWDは科学的に解釈可能で簡潔なモデルとなり、最先端のニューラルネットワークよりも予測性能が高い。
さらに、AWDは各ドメインの文脈において科学的に意味のある予測的特徴を特定する。
すべてのコードとモデルはGithub(https://github.com/Yu-Group/adaptive-wavelets)で入手できる完全なパッケージでリリースされる。
関連論文リスト
- WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳（メタデータ） (2024-07-18T11:51:01Z) - An Innovative Networks in Federated Learning [3.38220960870904]
本稿では,Wavelet Kolmogorov-Arnold Networks(Wav-KAN)の連合学習への応用について述べる。
我々は,連続ウェーブレット変換 (CWT) と離散ウェーブレット変換 (DWT) の両方を検討した。
さまざまなデータセットで大規模な実験を行い、解釈可能性、計算速度、トレーニング、テスト精度の点で、Wav-KANの優れた性能を実証した。
論文 参考訳（メタデータ） (2024-05-28T05:20:01Z) - Wav-KAN: Wavelet Kolmogorov-Arnold Networks [3.38220960870904]
Wav-KANは、Wavelet Kolmogorov-Arnold Networks(Wav-KAN)フレームワークを活用して、解釈性とパフォーマンスを向上させる革新的なニューラルネットワークアーキテクチャである。
我々の結果は、解釈可能な高性能ニューラルネットワークを開発するための強力なツールとして、Wav-KANの可能性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-05-21T14:36:16Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Distributionally Robust Recurrent Decoders with Random Network
Distillation [93.10261573696788]
本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。
提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
論文 参考訳（メタデータ） (2021-10-25T19:26:29Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Improved Protein-ligand Binding Affinity Prediction with Structure-Based
Deep Fusion Inference [3.761791311908692]
正確なタンパク質-リガンド結合親和性を予測することは、薬物発見において重要である。
深層畳み込みとグラフニューラルネットワークに基づくアプローチの最近の進歩により、モデルの性能は入力データ表現に依存する。
結合親和性予測を改善するため、2つのニューラルネットワークモデルの異なる特徴表現の恩恵を受けるための融合モデルを提案する。
論文 参考訳（メタデータ） (2020-05-17T22:26:27Z) - Adaptive Explainable Neural Networks (AxNNs) [8.949704905866888]
我々は、予測性能とモデル解釈可能性の両目標を達成するために、Adaptive Explainable Neural Networks (AxNN) と呼ばれる新しいフレームワークを開発した。
予測性能向上のために,一般化された付加的モデルネットワークと付加的インデックスモデルからなる構造化ニューラルネットワークを構築した。
本稿では,AxNNの結果を主効果と高次相互作用効果に分解する方法を示す。
論文 参考訳（メタデータ） (2020-04-05T23:40:57Z) - GAMI-Net: An Explainable Neural Network based on Generalized Additive
Models with Structured Interactions [5.8010446129208155]
構造的相互作用を持つ一般化付加モデル(GAMI-Net)に基づく説明可能なニューラルネットワークを提案し,予測精度とモデル解釈可能性とのバランスを良好に追求する。
GAMI-Net(英語版)は、複数の添加物を持つ非絡み合ったフィードフォワードネットワークである。
合成関数と実世界のデータセットの双方に関する数値実験により,提案モデルが優れた解釈性を有することが示された。
論文 参考訳（メタデータ） (2020-03-16T11:51:38Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。