論文の概要: Uncovering Model Processing Strategies with Non-Negative Per-Example Fisher Factorization

• arxiv url: http://arxiv.org/abs/2310.04649v2
• Date: Fri, 09 May 2025 15:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:09.899842
• Title: Uncovering Model Processing Strategies with Non-Negative Per-Example Fisher Factorization
• Title（参考訳）: 非負の1個当たりの養殖因子分解によるモデル処理戦略の解明
• Authors: Michael Matena, Colin Raffel,
• Abstract要約: 我々は,モデルが予測を生成するために使用する戦略を明らかにすることを目的とした解釈可能性手法であるNPEFFを紹介する。 我々は NPEFF コンポーネントが様々な言語モデルやテキスト処理タスクのモデル処理戦略に対応することを実証した。
• 参考スコア（独自算出の注目度）: 44.39409273712917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce NPEFF (Non-Negative Per-Example Fisher Factorization), an interpretability method that aims to uncover strategies used by a model to generate its predictions. NPEFF decomposes per-example Fisher matrices using a novel decomposition algorithm that learns a set of components represented by learned rank-1 positive semi-definite matrices. Through a combination of human evaluation and automated analysis, we demonstrate that these NPEFF components correspond to model processing strategies for a variety of language models and text processing tasks. We further show how to construct parameter perturbations from NPEFF components to selectively disrupt a given component's role in the model's processing. Along with conducting extensive ablation studies, we include experiments to show how NPEFF can be used to analyze and mitigate collateral effects of unlearning and use NPEFF to study in-context learning. Furthermore, we demonstrate the advantages of NPEFF over baselines such as gradient clustering and using sparse autoencoders for dictionary learning over model activations.
• Abstract（参考訳）: NPEFF(Non-Negative Per-Example Fisher Factorization)は,モデルが予測を生成するために使用する戦略を明らかにすることを目的とした解釈可能性手法である。 NPEFFは、学習ランク1の正の半定値行列で表されるコンポーネントの集合を学習する新しい分解アルゴリズムを用いて、サンプルごとのフィッシャー行列を分解する。 人間の評価と自動解析を組み合わせることで,これらのNPEFFコンポーネントが,様々な言語モデルやテキスト処理タスクのモデル処理戦略に対応していることを示す。 さらに、NPEFFコンポーネントからパラメータ摂動を構成して、モデル処理における特定のコンポーネントの役割を選択的に破壊する方法を示す。 広範囲にわたるアブレーション研究の実施に加えて,NPEFFが未学習の副次的効果を分析・緩和し,NPEFFを文脈内学習に活用する方法を示す実験も含んでいる。 さらに、勾配クラスタリングやスパースオートエンコーダを用いたモデルアクティベーションによる辞書学習などのベースライン上でのNPEFFの利点を示す。

関連論文リスト

• Exploring Model Editing for LLM-based Aspect-Based Sentiment Classification [17.512415475301395]
  本研究では,大規模言語モデル(LLM)をアスペクトベース感情分類に適応させる効率的な手法として,モデル編集について検討する。 この結果から,特定のアスペクト単語の感情極性を検出するには,異なる中間層表現のセットが不可欠であることが判明した。 我々は,LLMの重要な部分にのみ焦点をあてたモデル編集手法を開発し,より効率的なLLM適応法を実現する。
  論文  参考訳（メタデータ） (2025-03-19T11:21:37Z)
• Tapered Off-Policy REINFORCE: Stable and efficient reinforcement learning for LLMs [15.806503459642665]
  強化学習を用いた大規模言語モデルの微調整のための新しいアルゴリズムを提案する。 オフ政治体制における正と負の例を適切に活用することで、テスト時間精度とトレーニングデータの効率が同時に向上することを示す。 この研究の結果として、REINFORCEのベースラインパラメータが、ネガティブな例の存在下でデータセット構成を定義する上で、重要かつ予期せぬ役割を担っていることが判明した。
  論文  参考訳（メタデータ） (2025-03-18T14:23:37Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• Adaptive multiple optimal learning factors for neural network training [0.0]
  提案した適応多重最適学習因子(AMOLF)アルゴリズムは,乗算毎の誤差変化に基づいて動的に学習因子数を調整する。 この論文は、目的関数の曲率に基づいて重みをグループ化する手法や、大きなヘッセン行列を圧縮する手法も導入している。
  論文  参考訳（メタデータ） (2024-06-04T21:18:24Z)
• Decomposing and Editing Predictions by Modeling Model Computation [75.37535202884463]
  コンポーネントモデリングというタスクを導入します。 コンポーネントモデリングの目標は、MLモデルの予測をコンポーネントの観点から分解することだ。 コンポーネント属性を推定するスケーラブルなアルゴリズムであるCOARを提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:28:08Z)
• A Differentiable Partially Observable Generalized Linear Model with Forward-Backward Message Passing [2.600709013150986]
  既存の作業で用いられるスコア関数勾配推定器よりも優れたパスワイズ勾配推定器を実現できる新しい微分可能なPOGLMを提案する。 我々の新しい手法はより解釈可能なパラメータをもたらし、神経科学におけるその重要性を裏付ける。
  論文  参考訳（メタデータ） (2024-02-02T09:34:49Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Combining Discrete Choice Models and Neural Networks through Embeddings: Formulation, Interpretability and Performance [10.57079240576682]
  本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。 特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。 我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-09-24T15:55:31Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Understanding Instance-based Interpretability of Variational Auto-Encoders [24.493721984271566]
  可変オートエンコーダ(VAE)と呼ばれる深層生成モデルの影響関数について検討する。 次に、Pruthiなどに基づく計算効率が高く理論的に健全な解であるVAE-TracInを紹介する。 VAE-TracInを、広範囲な量的および定性的な分析により、複数の実世界のデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-05-29T04:03:09Z)
• Transforming Feature Space to Interpret Machine Learning Models [91.62936410696409]
  この貢献は、特徴空間変換のレンズを通して機械学習モデルを解釈する新しいアプローチを提案する。 非条件的および条件付きポストホック診断ツールの拡張に使用できる。 提案手法の可能性を実証するために,46特徴のリモートセンシング土地被覆分類の事例研究を行った。
  論文  参考訳（メタデータ） (2021-04-09T10:48:11Z)
• Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
  本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。 提案する最適化アルゴリズムを用いて効率的に解くことができる。
  論文  参考訳（メタデータ） (2021-03-24T21:17:17Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
  本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。