論文の概要: All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations

• arxiv url: http://arxiv.org/abs/2305.14555v1
• Date: Tue, 23 May 2023 22:30:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 21:26:48.853069
• Title: All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations
• Title（参考訳）: 全ての道はローマに通じる? トランスフォーマーの表現の不変性を探る
• Authors: Yuxin Ren, Qipeng Guo, Zhijing Jin, Shauli Ravfogel, Mrinmaya Sachan, Bernhard Sch\"olkopf, Ryan Cotterell
• Abstract要約: 本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。 BERT-INNの利点は理論上も広範な実験を通じても明らかである。
• 参考スコア（独自算出の注目度）: 69.3461199976959
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformer models bring propelling advances in various NLP tasks, thus inducing lots of interpretability research on the learned representations of the models. However, we raise a fundamental question regarding the reliability of the representations. Specifically, we investigate whether transformers learn essentially isomorphic representation spaces, or those that are sensitive to the random seeds in their pretraining process. In this work, we formulate the Bijection Hypothesis, which suggests the use of bijective methods to align different models' representation spaces. We propose a model based on invertible neural networks, BERT-INN, to learn the bijection more effectively than other existing bijective methods such as the canonical correlation analysis (CCA). We show the advantage of BERT-INN both theoretically and through extensive experiments, and apply it to align the reproduced BERT embeddings to draw insights that are meaningful to the interpretability research. Our code is at https://github.com/twinkle0331/BERT-similarity.
• Abstract（参考訳）: トランスフォーマーモデルは様々なNLPタスクに推進力をもたらすため、モデルの学習された表現に関する多くの解釈可能性の研究を誘導する。 しかし,表現の信頼性に関する基本的な疑問を提起する。 具体的には、トランスフォーマーが本質的に同型表現空間を学習しているか、あるいは事前学習過程においてランダムな種子に敏感であるかを検討する。 本研究では,各モデルの表現空間を整列するために単射法を用いることを示唆する単射仮説を定式化する。 本稿では, 可逆ニューラルネットワーク BERT-INN に基づくモデルを提案し, 正準相関解析 (CCA) のような既存の単射法よりも効果的にビジェクションを学習する。 BERT-INNの利点は理論上も広範な実験を通じても示し、再現されたBERT埋め込みを整合させて、解釈可能性研究に意義のある洞察を引き出すために応用する。 私たちのコードはhttps://github.com/twinkle0331/BERT-similarityにあります。

関連論文リスト

• Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
  ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。 これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。 本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T09:47:29Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Permutation Equivariance of Transformers and Its Applications [25.666783258054465]
  トランスフォーマーベースのモデルはシャッフルに頑丈であるが、前方伝播におけるトークン間の置換に限られる。 ニューラルネットワークの前方及び後方伝播におけるトークン間置換とトークン内置換の両方を包含するより広範な概念である置換同値を提案する。 概念実証として、プライバシ強化分割学習やモデル認可を含む現実世界のアプリケーションが、置換同値性をどのように活用できるかを考察する。
  論文  参考訳（メタデータ） (2023-04-16T09:25:24Z)
• Analyzing Transformers in Embedding Space [59.434807802802105]
  学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。 予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。 我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
  論文  参考訳（メタデータ） (2022-09-06T14:36:57Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。