Fugu-MT 論文翻訳(概要): Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number

論文の概要: Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number

arxiv url: http://arxiv.org/abs/2310.15151v1
Date: Mon, 23 Oct 2023 17:53:47 GMT
ステータス: 処理完了
システム内更新日: 2023-10-24 18:06:08.411982
Title: Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number
Title（参考訳）: 変圧器の動詞共役は主語の線形符号化によって決定される
Authors: Sophie Hao, Tal Linzen
Abstract要約: 動詞を共役するBERTの能力は、主語数の線形符号化に依存していることを示す。この符号化は、第1の層における主語位置と最終の層における動詞位置にあるが、中間の層における位置に分散している。
参考スコア（独自算出の注目度）: 24.248659219487976
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep architectures such as Transformers are sometimes criticized for having uninterpretable "black-box" representations. We use causal intervention analysis to show that, in fact, some linguistic features are represented in a linear, interpretable format. Specifically, we show that BERT's ability to conjugate verbs relies on a linear encoding of subject number that can be manipulated with predictable effects on conjugation accuracy. This encoding is found in the subject position at the first layer and the verb position at the last layer, but distributed across positions at middle layers, particularly when there are multiple cues to subject number.
Abstract（参考訳）: トランスフォーマーのような深いアーキテクチャは、解釈不能な「ブラックボックス」表現を持つと批判されることがある。因果的介入分析を用いて,いくつかの言語特徴が線形解釈可能な形式で表現されていることを示す。具体的には、動詞を共役するBERTの能力は、共役精度に予測可能な効果で操作できる主語数の線形符号化に依存していることを示す。この符号化は、第1の層における主語位置と最終の層における動詞位置にあるが、特に複数の主語数に対する手がかりが存在する場合、中間の層における位置に分散する。

関連論文リスト

Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding [32.01426831450348]
因果マスキングと開始トークンによってトランスフォーマーは階層構造内の位置情報と深さを計算することができることを示す。位置エンコーディングのないトランスフォーマーは階層型言語を生成することができることを示す。
論文参考訳（メタデータ） (2024-10-16T09:56:01Z)
Transformers need glasses! Information over-squashing in language tasks [18.81066657470662]
復号器のみの変換器における情報伝達について検討する。変換器への入力の特定のシーケンスは、最終的なトークンにおいて任意にクローズな表現が得られることを示す。また,デコーダのみのトランスフォーマー言語モデルでは,入力中の特定のトークンに対する感度が低下することを示す。
論文参考訳（メタデータ） (2024-06-06T17:14:44Z)
Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings [1.8927791081850118]
変圧器をベースとした文の埋め込みを,異なる言語信号を分離した表現に圧縮できるかどうかを考察する。本研究では,目的とする現象を,変分オートエンコーダのようなシステムの潜在層に共有する入力シーケンスを圧縮することにより,対象とする言語情報がより明確になることを示す。
論文参考訳（メタデータ） (2023-12-18T15:16:54Z)
Word Order Matters when you Increase Masking [70.29624135819884]
本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
論文参考訳（メタデータ） (2022-11-08T18:14:04Z)
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文参考訳（メタデータ） (2022-05-23T16:47:37Z)
LAVT: Language-Aware Vision Transformer for Referring Image Segmentation [80.54244087314025]
視覚トランスフォーマーエンコーダネットワークにおいて,言語的特徴と視覚的特徴を早期に融合することにより,より優れたモーダルアライメントを実現することができることを示す。提案手法は,RefCOCO,RefCO+,G-Refの従来の最先端手法を大きなマージンで上回っている。
論文参考訳（メタデータ） (2021-12-04T04:53:35Z)
The Impact of Positional Encodings on Multilingual Compression [3.454503173118508]
元のトランスアーキテクチャで使われる正弦波の位置エンコーディングに対して、いくつかの修正が提案されている。まず、これらの修正はモノリンガル言語モデルを改善する傾向にあるが、いずれの修正もより良いマルチリンガル言語モデルをもたらすものではないことを示す。
論文参考訳（メタデータ） (2021-09-11T23:22:50Z)
Disentangling Representations of Text by Masking Transformers [27.6903196190087]
トランスウェイトや隠れたユニット上のバイナリマスクを学習し、特定の変動要因と相関する特徴のサブセットを明らかにします。本稿では,映画評論における感情表現をジャンルから切り離す能力,つぶやきにおける方言からの「毒性」,意味論からの構文について評価する。
論文参考訳（メタデータ） (2021-04-14T22:45:34Z)
Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文参考訳（メタデータ） (2020-10-07T21:02:41Z)
Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
論文参考訳（メタデータ） (2020-06-28T13:11:02Z)
Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
論文参考訳（メタデータ） (2020-05-05T09:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。