論文の概要: Observable Propagation: A Data-Efficient Approach to Uncover Feature
Vectors in Transformers
- arxiv url: http://arxiv.org/abs/2312.16291v1
- Date: Tue, 26 Dec 2023 19:00:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 20:00:43.707599
- Title: Observable Propagation: A Data-Efficient Approach to Uncover Feature
Vectors in Transformers
- Title（参考訳）: 観測可能な伝播: 変換器の特徴ベクトルを明らかにするためのデータ効率の良いアプローチ
- Authors: Jacob Dunefsky and Arman Cohan
- Abstract要約: 与えられたタスクを計算する際にトランスフォーマー言語モデルで使用される線形特徴を見つけるために"obsProp"(略してobsProp)を導入する。
我々はObsPropを使って、ジェンダー付き職業バイアス、政党予測、プログラミング言語検出など、様々なタスクの質的な調査を行う。
- 参考スコア（独自算出の注目度）: 25.096019252017296
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: A key goal of current mechanistic interpretability research in NLP is to find
linear features (also called "feature vectors") for transformers: directions in
activation space corresponding to concepts that are used by a given model in
its computation. Present state-of-the-art methods for finding linear features
require large amounts of labelled data -- both laborious to acquire and
computationally expensive to utilize. In this work, we introduce a novel
method, called "observable propagation" (in short: ObsProp), for finding linear
features used by transformer language models in computing a given task -- using
almost no data. Our paradigm centers on the concept of observables, linear
functionals corresponding to given tasks. We then introduce a mathematical
theory for the analysis of feature vectors: we provide theoretical motivation
for why LayerNorm nonlinearities do not affect the direction of feature
vectors; we also introduce a similarity metric between feature vectors called
the coupling coefficient which estimates the degree to which one feature's
output correlates with another's. We use ObsProp to perform extensive
qualitative investigations into several tasks, including gendered occupational
bias, political party prediction, and programming language detection. Our
results suggest that ObsProp surpasses traditional approaches for finding
feature vectors in the low-data regime, and that ObsProp can be used to better
understand the mechanisms responsible for bias in large language models. Code
for experiments can be found at github.com/jacobdunefsky/ObservablePropagation.
- Abstract（参考訳）: NLPにおける現在の機械論的解釈可能性の研究の鍵となるゴールは、変圧器の線形特徴(「機能ベクトル」とも呼ばれる)を見つけることである。
現在、線形特徴量を求めるには、大量のラベル付きデータが必要であり、取得に手間がかかり、計算コストがかかる。本研究では、与えられたタスクを演算する際にトランスフォーマー言語モデルが使用する線形特徴量を見つけるための新しい手法であるobservable propagation(obsprop)を提案する。
我々のパラダイムは、与えられたタスクに対応する可観測関数、線形汎関数の概念に焦点を当てている。
次に、特徴ベクトルの解析のための数学的理論を紹介し、なぜLayerNormの非線形性が特徴ベクトルの方向に影響しないのかを理論的動機付け、また、ある特徴ベクトルの出力が他の特徴ベクトルと相関する程度を推定する結合係数と呼ばれる特徴ベクトル間の類似度計量を導入する。
我々はObsPropを使って、ジェンダー付き職業バイアス、政党予測、プログラミング言語検出など、様々なタスクの質的な調査を行う。
以上の結果から,obspropは低データ領域で特徴ベクトルを求める従来のアプローチを上回っており,大規模言語モデルにおいてバイアスの原因となるメカニズムをより理解するために,obspropが利用できることが示唆された。
実験のコードはgithub.com/jacobdunefsky/ObservablePropagationで見ることができる。
関連論文リスト
- Kolmogorov GAM Networks are all you need! [0.6906005491572398]
Kolmogorov GAMネットワークは、トレーニングと推論のための効率的なアーキテクチャであることが示されている。
それらは、関心の関数に依存しない埋め込みを持つ加法モデルである。
論文 参考訳（メタデータ） (2025-01-01T02:46:00Z) - Influence functions and regularity tangents for efficient active learning [0.0]
本稿では,データに対する好奇心を持つ回帰モデルを提供するための効率的な方法について述べる。
機械学習の分野では、好奇心を表現するためのフレームワークをアクティブラーニング(Active Learning)と呼ぶ。
論文 参考訳（メタデータ） (2024-11-22T18:14:26Z) - Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。
このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。
本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-07-03T07:54:08Z) - Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-11T09:54:30Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳（メタデータ） (2023-07-06T15:19:53Z) - Scalable variable selection for two-view learning tasks with projection
operators [0.0]
本稿では,2視点設定やベクトル値による教師付き学習問題に対して,新しい変数選択法を提案する。
当社のフレームワークは,データサンプルの数が数百万にものぼる,非常に大規模な選択タスクを処理できる。
論文 参考訳（メタデータ） (2023-07-04T08:22:05Z) - Inexact iterative numerical linear algebra for neural network-based
spectral estimation and rare-event prediction [0.0]
遷移作用素の固有関数を導くことは視覚化に有用である。
我々はこれらの固有関数を計算するための不正確な反復線形代数法を開発する。
論文 参考訳（メタデータ） (2023-03-22T13:07:03Z) - EqMotion: Equivariant Multi-agent Motion Prediction with Invariant
Interaction Reasoning [83.11657818251447]
不変相互作用推論を用いた効率的な同変運動予測モデルであるEqMotionを提案する。
提案モデルに対して,粒子動力学,分子動力学,人体骨格運動予測,歩行者軌道予測の4つの異なるシナリオで実験を行った。
提案手法は4つのタスクすべてに対して最先端の予測性能を実現し,24.0/30.1/8.6/9.2%改善した。
論文 参考訳（メタデータ） (2023-03-20T05:23:46Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。
直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。
この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文 参考訳（メタデータ） (2021-02-18T19:39:22Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳（メタデータ） (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。