論文の概要: All Roads Lead to Rome? Exploring the Invariance of Transformers'
Representations
- arxiv url: http://arxiv.org/abs/2305.14555v1
- Date: Tue, 23 May 2023 22:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 21:26:48.853069
- Title: All Roads Lead to Rome? Exploring the Invariance of Transformers'
Representations
- Title(参考訳): 全ての道はローマに通じる?
トランスフォーマーの表現の不変性を探る
- Authors: Yuxin Ren, Qipeng Guo, Zhijing Jin, Shauli Ravfogel, Mrinmaya Sachan,
Bernhard Sch\"olkopf, Ryan Cotterell
- Abstract要約: 本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。
BERT-INNの利点は理論上も広範な実験を通じても明らかである。
- 参考スコア(独自算出の注目度): 69.3461199976959
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Transformer models bring propelling advances in various NLP tasks, thus
inducing lots of interpretability research on the learned representations of
the models. However, we raise a fundamental question regarding the reliability
of the representations. Specifically, we investigate whether transformers learn
essentially isomorphic representation spaces, or those that are sensitive to
the random seeds in their pretraining process. In this work, we formulate the
Bijection Hypothesis, which suggests the use of bijective methods to align
different models' representation spaces. We propose a model based on invertible
neural networks, BERT-INN, to learn the bijection more effectively than other
existing bijective methods such as the canonical correlation analysis (CCA). We
show the advantage of BERT-INN both theoretically and through extensive
experiments, and apply it to align the reproduced BERT embeddings to draw
insights that are meaningful to the interpretability research. Our code is at
https://github.com/twinkle0331/BERT-similarity.
- Abstract(参考訳): トランスフォーマーモデルは様々なNLPタスクに推進力をもたらすため、モデルの学習された表現に関する多くの解釈可能性の研究を誘導する。
しかし,表現の信頼性に関する基本的な疑問を提起する。
具体的には、トランスフォーマーが本質的に同型表現空間を学習しているか、あるいは事前学習過程においてランダムな種子に敏感であるかを検討する。
本研究では,各モデルの表現空間を整列するために単射法を用いることを示唆する単射仮説を定式化する。
本稿では, 可逆ニューラルネットワーク BERT-INN に基づくモデルを提案し, 正準相関解析 (CCA) のような既存の単射法よりも効果的にビジェクションを学習する。
BERT-INNの利点は理論上も広範な実験を通じても示し、再現されたBERT埋め込みを整合させて、解釈可能性研究に意義のある洞察を引き出すために応用する。
私たちのコードはhttps://github.com/twinkle0331/BERT-similarityにあります。
関連論文リスト
- Interpreting Equivariant Representations [5.325297567945828]
本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。
インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
論文 参考訳(メタデータ) (2024-01-23T09:43:30Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳(メタデータ) (2023-11-26T06:56:02Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳(メタデータ) (2023-09-22T20:15:37Z) - Analyzing Transformers in Embedding Space [59.434807802802105]
学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。
予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。
我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
論文 参考訳(メタデータ) (2022-09-06T14:36:57Z) - Do Transformers Encode a Foundational Ontology? Probing Abstract Classes
in Natural Language [2.363388546004777]
本稿では,トランスフォーマーをベースとしたモデルが抽象意味情報をエンコードするかどうかを調べるための体系的基礎オントロジー探索手法を提案する。
本稿では,トランスフォーマーをベースとしたモデルが,事前学習中の基礎オントロジーに関連する情報を偶然に符号化していることを示す。
論文 参考訳(メタデータ) (2022-01-25T12:11:46Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳(メタデータ) (2020-12-30T20:40:48Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳(メタデータ) (2020-10-10T14:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。