論文の概要: On the Transformation of Latent Space in Fine-Tuned NLP Models
- arxiv url: http://arxiv.org/abs/2210.12696v1
- Date: Sun, 23 Oct 2022 10:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 16:36:45.526969
- Title: On the Transformation of Latent Space in Fine-Tuned NLP Models
- Title(参考訳): 微調整NLPモデルにおける潜時空間の変換について
- Authors: Nadir Durrani and Hassan Sajjad and Fahim Dalvi and Firoj Alam
- Abstract要約: 微調整NLPモデルにおける潜伏空間の進化について検討する。
階層的クラスタリングを用いて表現空間における潜在概念を発見する。
3つのモデルと3つの下流タスクで事前訓練されたモデルと微調整されたモデルを比較した。
- 参考スコア(独自算出の注目度): 21.364053591693175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the evolution of latent space in fine-tuned NLP models. Different
from the commonly used probing-framework, we opt for an unsupervised method to
analyze representations. More specifically, we discover latent concepts in the
representational space using hierarchical clustering. We then use an alignment
function to gauge the similarity between the latent space of a pre-trained
model and its fine-tuned version. We use traditional linguistic concepts to
facilitate our understanding and also study how the model space transforms
towards task-specific information. We perform a thorough analysis, comparing
pre-trained and fine-tuned models across three models and three downstream
tasks. The notable findings of our work are: i) the latent space of the higher
layers evolve towards task-specific concepts, ii) whereas the lower layers
retain generic concepts acquired in the pre-trained model, iii) we discovered
that some concepts in the higher layers acquire polarity towards the output
class, and iv) that these concepts can be used for generating adversarial
triggers.
- Abstract(参考訳): 微調整NLPモデルにおける潜伏空間の進化について検討する。
一般的に使われている探索フレームとは違って,表現を解析するための教師なし手法を選択する。
より具体的には、階層的クラスタリングを用いて表現空間における潜在概念を発見する。
次にアライメント関数を使用して、事前学習されたモデルの潜在空間とその微調整されたバージョン間の類似度を測定する。
従来の言語概念を用いて理解を促進し、モデル空間がタスク固有の情報にどのように変換されるかを研究する。
3つのモデルと3つの下流タスクの事前学習モデルと微調整モデルを比較し、徹底的な分析を行う。
私たちの研究の注目すべき発見は
一 上位層の潜在空間は、タスク固有の概念に向かって発展する。
ii) 下位層は事前学習したモデルで得られた総称概念を保持している。
iii) 上位層内のいくつかの概念が出力クラスに対して極性を獲得することを見出し、
iv) これらの概念が、逆トリガーを生成するのに使用できること。
関連論文リスト
- Cross-Task Linearity Emerges in the Pretraining-Finetuning Paradigm [51.01613218027083]
クロスタスク線形性(CTL)は、共通の事前訓練されたチェックポイントからモデルで観察され、異なるタスクで微調整される。
CTLは、同じ事前訓練されたチェックポイントから始まる微調整されたモデルに対して一貫して発生する。
プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは基本的に線形写像として機能し、パラメータ空間から特徴空間へマッピングする。
論文 参考訳(メタデータ) (2024-02-06T03:28:36Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Uncovering Unique Concept Vectors through Latent Space Decomposition [0.0]
概念に基づく説明は、特徴帰属推定よりも解釈可能な優れたアプローチとして現れてきた。
本稿では,訓練中に深層モデルから学んだ概念を自動的に発見するポストホックな教師なし手法を提案する。
実験の結果、我々の概念の大部分は、人間にとって容易に理解でき、一貫性を示し、目の前の課題に関連があることが判明した。
論文 参考訳(メタデータ) (2023-07-13T17:21:54Z) - Hierarchical Semantic Tree Concept Whitening for Interpretable Image
Classification [19.306487616731765]
ポストホック分析は、モデルに自然に存在するパターンやルールのみを発見することができる。
我々は、隠された層における人間の理解可能な概念の表現を変えるために、積極的に知識を注入する。
本手法は,モデル分類性能に悪影響を及ぼすことなく,セマンティックな概念の絡み合いを良くし,モデルの解釈可能性を向上させる。
論文 参考訳(メタデータ) (2023-07-10T04:54:05Z) - On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。
我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文 参考訳(メタデータ) (2022-11-15T19:56:37Z) - Disentangling Shape and Pose for Object-Centric Deep Active Inference
Models [4.298360054690217]
本稿では,3次元オブジェクト表現の問題点を考察し,ShapeNetデータセットの異なるインスタンスに着目した。
深層ニューラルネットワークを用いて各因子の表現を学習しながら,対象の形状,ポーズ,カテゴリを分解するモデルを提案する。
論文 参考訳(メタデータ) (2022-09-16T12:53:49Z) - Contrastive Neighborhood Alignment [81.65103777329874]
本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。
対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。
CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
論文 参考訳(メタデータ) (2022-01-06T04:58:31Z) - Tensor-based Subspace Factorization for StyleGAN [1.1470070927586016]
$tau$GANは、生成モデルの潜在空間をモデル化するためのテンソルベースのメソッドである。
構造的表情データベースとしてBU-3DFEを用いてFFHQで訓練したStyleGANに対するアプローチを検証する。
論文 参考訳(メタデータ) (2021-11-08T15:11:39Z) - Latent Space Model for Higher-order Networks and Generalized Tensor
Decomposition [18.07071669486882]
我々は、複雑な高次ネットワーク相互作用を研究するために、一般的な潜在空間モデルとして定式化された統一フレームワークを導入する。
一般化された多線形カーネルをリンク関数として、潜伏位置と観測データとの関係を定式化する。
本手法が合成データに与える影響を実証する。
論文 参考訳(メタデータ) (2021-06-30T13:11:17Z) - A Minimalist Dataset for Systematic Generalization of Perception,
Syntax, and Semantics [131.93113552146195]
我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。
HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。
我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
論文 参考訳(メタデータ) (2021-03-02T01:32:54Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。