論文の概要: Uncovering Model Processing Strategies with Non-Negative Per-Example Fisher Factorization

• arxiv url: http://arxiv.org/abs/2310.04649v2
• Date: Fri, 09 May 2025 15:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:09.899842
• Title: Uncovering Model Processing Strategies with Non-Negative Per-Example Fisher Factorization
• Title（参考訳）: 非負の1個当たりの養殖因子分解によるモデル処理戦略の解明
• Authors: Michael Matena, Colin Raffel,
• Abstract要約: 我々は,モデルが予測を生成するために使用する戦略を明らかにすることを目的とした解釈可能性手法であるNPEFFを紹介する。 我々は NPEFF コンポーネントが様々な言語モデルやテキスト処理タスクのモデル処理戦略に対応することを実証した。
• 参考スコア（独自算出の注目度）: 44.39409273712917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce NPEFF (Non-Negative Per-Example Fisher Factorization), an interpretability method that aims to uncover strategies used by a model to generate its predictions. NPEFF decomposes per-example Fisher matrices using a novel decomposition algorithm that learns a set of components represented by learned rank-1 positive semi-definite matrices. Through a combination of human evaluation and automated analysis, we demonstrate that these NPEFF components correspond to model processing strategies for a variety of language models and text processing tasks. We further show how to construct parameter perturbations from NPEFF components to selectively disrupt a given component's role in the model's processing. Along with conducting extensive ablation studies, we include experiments to show how NPEFF can be used to analyze and mitigate collateral effects of unlearning and use NPEFF to study in-context learning. Furthermore, we demonstrate the advantages of NPEFF over baselines such as gradient clustering and using sparse autoencoders for dictionary learning over model activations.
• Abstract（参考訳）: NPEFF(Non-Negative Per-Example Fisher Factorization)は,モデルが予測を生成するために使用する戦略を明らかにすることを目的とした解釈可能性手法である。 NPEFFは、学習ランク1の正の半定値行列で表されるコンポーネントの集合を学習する新しい分解アルゴリズムを用いて、サンプルごとのフィッシャー行列を分解する。 人間の評価と自動解析を組み合わせることで,これらのNPEFFコンポーネントが,様々な言語モデルやテキスト処理タスクのモデル処理戦略に対応していることを示す。 さらに、NPEFFコンポーネントからパラメータ摂動を構成して、モデル処理における特定のコンポーネントの役割を選択的に破壊する方法を示す。 広範囲にわたるアブレーション研究の実施に加えて,NPEFFが未学習の副次的効果を分析・緩和し,NPEFFを文脈内学習に活用する方法を示す実験も含んでいる。 さらに、勾配クラスタリングやスパースオートエンコーダを用いたモデルアクティベーションによる辞書学習などのベースライン上でのNPEFFの利点を示す。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• A Differentiable Partially Observable Generalized Linear Model with Forward-Backward Message Passing [2.600709013150986]
  既存の作業で用いられるスコア関数勾配推定器よりも優れたパスワイズ勾配推定器を実現できる新しい微分可能なPOGLMを提案する。 我々の新しい手法はより解釈可能なパラメータをもたらし、神経科学におけるその重要性を裏付ける。
  論文  参考訳（メタデータ） (2024-02-02T09:34:49Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Combining Discrete Choice Models and Neural Networks through Embeddings: Formulation, Interpretability and Performance [10.57079240576682]
  本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。 特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。 我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-09-24T15:55:31Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
  本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。 提案する最適化アルゴリズムを用いて効率的に解くことができる。
  論文  参考訳（メタデータ） (2021-03-24T21:17:17Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
  本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。