論文の概要: NPEFF: Non-Negative Per-Example Fisher Factorization
- arxiv url: http://arxiv.org/abs/2310.04649v1
- Date: Sat, 7 Oct 2023 02:02:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-10-12 16:56:48.958721
- Title: NPEFF: Non-Negative Per-Example Fisher Factorization
- Title（参考訳）: NPEFF:非負の1個当たりの漁業因子化
- Authors: Michael Matena, Colin Raffel
- Abstract要約: エンド・ツー・エンドの微分可能モデルに容易に適用可能な,NPEFFと呼ばれる新しい解釈可能性手法を提案する。
我々はNPEFFが言語モデルと視覚モデルの実験を通して解釈可能なチューニングを持つことを実証した。
- 参考スコア（独自算出の注目度）: 52.44573961263344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As deep learning models are deployed in more and more settings, it becomes
increasingly important to be able to understand why they produce a given
prediction, but interpretation of these models remains a challenge. In this
paper, we introduce a novel interpretability method called NPEFF that is
readily applicable to any end-to-end differentiable model. It operates on the
principle that processing of a characteristic shared across different examples
involves a specific subset of model parameters. We perform NPEFF by decomposing
each example's Fisher information matrix as a non-negative sum of components.
These components take the form of either non-negative vectors or rank-1
positive semi-definite matrices depending on whether we are using diagonal or
low-rank Fisher representations, respectively. For the latter form, we
introduce a novel and highly scalable algorithm. We demonstrate that components
recovered by NPEFF have interpretable tunings through experiments on language
and vision models. Using unique properties of NPEFF's parameter-space
representations, we ran extensive experiments to verify that the connections
between directions in parameters space and examples recovered by NPEFF actually
reflect the model's processing. We further demonstrate NPEFF's ability to
uncover the actual processing strategies used by a TRACR-compiled model. We
further explore a potential application of NPEFF in uncovering and correcting
flawed heuristics used by a model. We release our code to facilitate research
using NPEFF.
- Abstract（参考訳）: ディープラーニングモデルがますます多くの設定でデプロイされるにつれて、特定の予測を生成する理由を理解することがますます重要になるが、これらのモデルの解釈は依然として課題である。
本稿では,エンド・ツー・エンドの微分可能モデルに適用可能なnpeffと呼ばれる新しい解釈可能性手法を提案する。
異なる例間で共有される特性の処理は、モデルパラメータの特定のサブセットを含むという原則に基づいて動作する。
各サンプルのフィッシャー情報行列を非負の成分和として分解してNPEFFを行う。
これらの成分は、それぞれ対角的あるいはローランクなフィッシャー表現を使用しているかどうかによって、非負ベクトルまたはランク1正半定行列の形式をとる。
後者の形式では,新しいスケーラブルなアルゴリズムを導入する。
NPEFFによって復元されたコンポーネントは、言語および視覚モデルの実験を通して解釈可能なチューニングを持つことを示す。
NPEFFのパラメータ空間表現のユニークな特性を用いて、パラメータ空間内の方向とNPEFFが復元した例との間の接続が実際にモデルの処理を反映していることを示す広範な実験を行った。
さらに,TRACRコンパイルモデルが使用する実際の処理戦略を明らかにするNPEFFの能力を実証する。
さらに、モデルが使用する欠陥のあるヒューリスティックの発見と修正におけるNPEFFの適用の可能性を探る。
NPEFFを用いた研究を促進するためにコードを公開します。
関連論文リスト
- ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。
本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。
FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
論文 参考訳（メタデータ） (2024-09-23T09:33:53Z) - A Differentiable Partially Observable Generalized Linear Model with
Forward-Backward Message Passing [2.600709013150986]
既存の作業で用いられるスコア関数勾配推定器よりも優れたパスワイズ勾配推定器を実現できる新しい微分可能なPOGLMを提案する。
我々の新しい手法はより解釈可能なパラメータをもたらし、神経科学におけるその重要性を裏付ける。
論文 参考訳（メタデータ） (2024-02-02T09:34:49Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳（メタデータ） (2021-10-05T02:14:38Z) - Combining Discrete Choice Models and Neural Networks through Embeddings:
Formulation, Interpretability and Performance [10.57079240576682]
本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。
特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。
我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
論文 参考訳（メタデータ） (2021-09-24T15:55:31Z) - Locally Interpretable Model Agnostic Explanations using Gaussian
Processes [2.9189409618561966]
LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。
局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。
提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
論文 参考訳（メタデータ） (2021-08-16T05:49:01Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。
FNMFはその重要性に応じて特徴の重みを適応的に学習する。
提案する最適化アルゴリズムを用いて効率的に解くことができる。
論文 参考訳（メタデータ） (2021-03-24T21:17:17Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Controlling for sparsity in sparse factor analysis models: adaptive
latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。
適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。
APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
論文 参考訳（メタデータ） (2020-06-22T16:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。