論文の概要: A robust estimator of mutual information for deep learning
interpretability
- arxiv url: http://arxiv.org/abs/2211.00024v1
- Date: Mon, 31 Oct 2022 18:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 15:03:49.111742
- Title: A robust estimator of mutual information for deep learning
interpretability
- Title(参考訳): Deep Learning Interpretabilityのための相互情報のロバストな推定法
- Authors: Davide Piras, Hiranya V. Peiris, Andrew Pontzen, Luisa Lucie-Smith,
Ningyuan Guo, Brian Nord
- Abstract要約: 本稿では,離散的かつ連続的な設定にも適用可能なアルゴリズムGMM-MIを提案する。
我々は,GMM-MIを具体的真理MIが知られている玩具データに基づいて広範囲に検証する。
次に、表現学習の文脈におけるMI推定器の使用例を示す。
- 参考スコア(独自算出の注目度): 2.574652392763709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop the use of mutual information (MI), a well-established metric in
information theory, to interpret the inner workings of deep learning models. To
accurately estimate MI from a finite number of samples, we present GMM-MI
(pronounced $``$Jimmie$"$), an algorithm based on Gaussian mixture models that
can be applied to both discrete and continuous settings. GMM-MI is
computationally efficient, robust to the choice of hyperparameters and provides
the uncertainty on the MI estimate due to the finite sample size. We
extensively validate GMM-MI on toy data for which the ground truth MI is known,
comparing its performance against established mutual information estimators. We
then demonstrate the use of our MI estimator in the context of representation
learning, working with synthetic data and physical datasets describing highly
non-linear processes. We train deep learning models to encode high-dimensional
data within a meaningful compressed (latent) representation, and use GMM-MI to
quantify both the level of disentanglement between the latent variables, and
their association with relevant physical quantities, thus unlocking the
interpretability of the latent representation. We make GMM-MI publicly
available.
- Abstract(参考訳): 我々は,情報理論の確立した計量である相互情報(MI)を用いて,深層学習モデルの内部動作を解釈する。
有限個のサンプルからMIを正確に推定するために,GMM-MI($``$Jimmie$"$)を提案する。
GMM-MIは計算効率が高く、ハイパーパラメータの選択に頑健であり、有限サンプルサイズによるMI推定の不確実性を提供する。
我々は,GMM-MIを具体的真理MIが知られている玩具データに基づいて広範囲に検証し,その性能を既存の相互情報推定器と比較した。
次に、表現学習の文脈におけるMI推定器の使用を実演し、高度に非線形なプロセスを記述する合成データや物理データセットを扱う。
我々は,有意な圧縮(遅延)表現内に高次元データをエンコードする深層学習モデルを訓練し,GMM-MIを用いて潜伏変数間の絡み合いのレベルと関連する物理量との関係を定量化し,潜伏表現の解釈可能性を高める。
GMM-MIを公開しています。
関連論文リスト
- Minimally Supervised Learning using Topological Projections in
Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。
提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。
提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文 参考訳(メタデータ) (2024-01-12T22:51:48Z) - Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Sparse Bayesian Multidimensional Item Response Theory [0.0]
本稿では,二項および順序項目MIRTのためのベイズ的プラットフォームを開発する。
チューニングが最小限で、比較的大規模なデータセットで十分スケールする必要がある。
2つのデータセットに対して,本手法の実用的有用性を示す。
論文 参考訳(メタデータ) (2023-10-26T23:50:50Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from
a Parametric Perspective [114.70886320845715]
大規模言語モデル(LLM)は本質的に、広範囲なコーパスの事前学習を通じて、パラメータ内の豊富な知識を符号化する。
本稿では,パラメトリックの観点から,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
論文 参考訳(メタデータ) (2023-10-17T17:58:34Z) - Max-Sliced Mutual Information [17.667315953598788]
高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。
2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。
本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
論文 参考訳(メタデータ) (2023-09-28T06:49:25Z) - Incremental Multimodal Surface Mapping via Self-Organizing Gaussian
Mixture Models [1.0878040851638]
本文では,環境を連続確率モデルとして表わすインクリメンタルなマルチモーダル表面マッピング手法について述べる。
この研究で使用される戦略は環境を表現するためにガウス混合モデル(GMM)を用いる。
このギャップを埋めるために,高速GMMサブマップ抽出のための空間ハッシュマップを導入する。
論文 参考訳(メタデータ) (2023-09-19T19:49:03Z) - Improving Mutual Information Estimation with Annealed and Energy-Based
Bounds [20.940022170594816]
相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。
重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。
このアプローチに基づく3つの新しい境界を提案する。
論文 参考訳(メタデータ) (2023-03-13T10:47:24Z) - k-Sliced Mutual Information: A Quantitative Study of Scalability with
Dimension [21.82863736290358]
元のSMI定義を$k$-SMIに拡張し、射影を$k$-次元部分空間とする。
2-ワッサーシュタイン計量における微分エントロピーの連続性に関する新しい結果を用いて、モンテカルロ(MC)に基づく推定値の k$-SMI の誤差の鋭い境界を導出する。
次に、MC積分器とニューラルネットワーク推定フレームワークを組み合わせて、エンドツーエンドの$k$-SMI推定器を提供する。
論文 参考訳(メタデータ) (2022-06-17T03:19:55Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳(メタデータ) (2021-06-01T19:19:49Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-04-19T12:26:26Z) - Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
相互情報(MI)は表現学習において重要な役割を担っている。
近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。
暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
論文 参考訳(メタデータ) (2020-05-03T16:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。