論文の概要、ライセンス

# (参考訳) 事前学習言語モデルから潜在ステアリングベクトルを抽出する [全文訳有]

Extracting Latent Steering Vectors from Pretrained Language Models ( http://arxiv.org/abs/2205.05124v1 )

ライセンス: CC BY 4.0
Nishant Subramani, Nivedita Suresh, Matthew E. Peters(参考訳) 制御可能なテキスト生成に関する以前の研究は、トレーニング可能なデコーディング、スマートプロンプト設計、あるいは望ましい目的に基づいて微調整を通じて言語モデルを制御する方法を学ぶことに集中していた。 対象の文を生成するためにモデルを操るのに必要な情報は、既にモデル内にエンコードされていると仮定する。 そこで我々は,事前訓練された言語モデルデコーダから直接潜在ベクトルを微調整なしで抽出する,まったく別のアプローチを提案する。 実験により、ステアリングベクトルが存在しており、言語モデルの隠れ状態に追加されると、様々なドメインから英語の文に対してほぼ完全に(>99 BLEU)ターゲット文が生成される。 Yelpの感情評価ベンチマークでは,ベクトル算術が教師なしの感情伝達に利用でき,このタスクに適したモデルに匹敵する性能を示す。 テキスト類似度ベンチマーク (STS-B) で評価すると, ステアリングベクトル間の距離が文類似度を反映していることが判明した。 最後に、ステアリングベクトルの内在的性質について解析する。 その結果, 凍結したlmsは, 潜在性ステアリング空間を介して効果的に制御できることが示唆された。

Prior work on controllable text generation has focused on learning how to control language models through trainable decoding, smart-prompt design, or fine-tuning based on a desired objective. We hypothesize that the information needed to steer the model to generate a target sentence is already encoded within the model. Accordingly, we explore a different approach altogether: extracting latent vectors directly from pretrained language model decoders without fine-tuning. Experiments show that there exist steering vectors, which, when added to the hidden states of the language model, generate a target sentence nearly perfectly (> 99 BLEU) for English sentences from a variety of domains. We show that vector arithmetic can be used for unsupervised sentiment transfer on the Yelp sentiment benchmark, with performance comparable to models tailored to this task. We find that distances between steering vectors reflect sentence similarity when evaluated on a textual similarity benchmark (STS-B), outperforming pooled hidden states of models. Finally, we present an analysis of the intrinsic properties of the steering vectors. Taken together, our results suggest that frozen LMs can be effectively controlled through their latent steering space.
公開日: Tue, 10 May 2022 19:04:37 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
2 2 0 2 y a M 0 1 2 2 0 2 y a m 0 1 である。 0.53
] L C . s c [ 1 v 4 2 1 5 0 ]LC。 sc [ 1 v 4 2 1 5 0 0.30
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Extracting Latent Steering Vectors from Pretrained Language Models 事前学習言語モデルから潜在ステアリングベクトルを抽出する 0.70
Nishant Subramani† Nivedita Suresh♦ Matthew E. Peters† ニシュタント・サブラマニ ニヴェディタ・シュリーシュ マシュー・e・ピーターシ 0.43
†Allen Institute for Artificial Intelligence, Seattle, WA, USA Allen Institute for Artificial Intelligence, Seattle, WA, USA (英語) 0.41
♦Arrive Bio, San Francisco, CA, USA サンフランシスコ、アメリカ、アメリカ、アリー・バイオ 0.54
{nishants,matthewp}@allenai.org nishants,matthewp}@allenai.org 0.45
{nive}@arrivebio.com nive}@arrivebio.com 0.38
Abstract Prior work on controllable text generation has focused on learning how to control language models through trainable decoding, smartprompt design, or fine-tuning based on a desired objective. 概要 制御可能なテキスト生成に関する以前の作業は、トレーニング可能なデコード、smartprompt設計、あるいは望ましい目的に基づいた微調整を通じて言語モデルを制御する方法を学ぶことに焦点を当ててきた。 0.53
We hypothesize that the information needed to steer the model to generate a target sentence is already encoded within the model. 対象の文を生成するためにモデルを操るのに必要な情報は、既にモデル内にエンコードされていると仮定する。 0.62
Accordingly, we explore a different approach altogether: extracting latent vectors directly from pretrained language model decoders without fine-tuning. そこで我々は,事前訓練された言語モデルデコーダから直接潜在ベクトルを微調整なしで抽出する,まったく別のアプローチを提案する。 0.61
Experiments show that there exist steering vectors, which, when added to the hidden states of the language model, generate a target sentence nearly perfectly (> 99 BLEU) for English sentences from a variety of domains. 実験により、ステアリングベクトルが存在しており、言語モデルの隠れ状態に追加されると、様々なドメインから英語の文に対してほぼ完全に(>99 BLEU)ターゲット文が生成される。 0.79
We show that vector arithmetic can be used for unsupervised sentiment transfer on the Yelp sentiment benchmark, with performance comparable to models tailored to this task. Yelpの感情評価ベンチマークでは,ベクトル算術が教師なしの感情伝達に利用でき,このタスクに適したモデルに匹敵する性能を示す。 0.64
We find that distances between steering vectors reflect sentence similarity when evaluated on a textual similarity benchmark (STS-B), outperforming pooled hidden states of models. テキスト類似度ベンチマーク (STS-B) で評価すると, ステアリングベクトル間の距離が文類似度を反映していることが判明した。 0.77
Finally, we present an analysis of the intrinsic properties of the steering vectors. 最後に、ステアリングベクトルの内在的性質について解析する。 0.63
Taken together, our results suggest that frozen LMs can be effectively controlled through their latent steering space. その結果, 凍結したlmsは, 潜在性ステアリング空間を介して効果的に制御できることが示唆された。 0.65
1 Introduction 1 Leveraging large pretrained language models trained on massive Web corpora has become the go-to approach to solve natural language processing tasks (Peters et al , 2018; Radford et al , 2018; Devlin et al , 2018; Brown et al , 2020). 1 はじめに 大規模なWebコーパスでトレーニングされた大規模な事前トレーニング言語モデルを活用することが、自然言語処理タスクを解決するためのゴートアプローチになった(Peters et al , 2018; Radford et al , 2018; Devlin et al , 2018; Brown et al , 2020)。 0.58
As a result, controlling these models has become paramount as many applications of NLP technology require control over the generations of the model. 結果として、NLP技術の多くの応用がモデル世代を制御する必要があるため、これらのモデルを制御することが最重要になっている。 0.66
Prior work aims to learn how to control language models and falls in three categories: trainable decoding (Gu 事前の作業は、言語モデルを制御し、3つのカテゴリに分類する方法を学ぶことを目的としている。 0.61
1Code is available at https://github.com/n is 1codeはhttps://github.com/n isで入手できる。 0.47
hantsubramani/steeri ng_vectors. hantsubramani/steeri ng_vectors。 0.23
et al , 2017; Deng et al , 2020), smart-prompt design (Shin et al , 2020; Lester et al , 2021), and fine-tuning based on a desired objective (Krause et al , 2021; Weng, 2021). 2017年、Deng et al 、2020年、スマートプロンプトデザイン(Shin et al 、2020年、Lester et al 、2021年)、および望ましい目的に基づく微調整(Krause et al 、2021年、Weng、2021年)。
訳抜け防止モード: al, 2017; Deng et al, 2020) スマート-即興デザイン(Shin et al, 2020; Lester et al, 2021) そして素晴らしい – 望ましい目的(Krause et al, 2021 ; Weng, 2021 )に基づいてチューニングする。
0.80
Further, many works opt to train auto-encoder based models for controllable text generation (Shen et al , 2017, 2020; Mai et al , 2020). さらに、制御可能なテキスト生成のための自動エンコーダベースのモデルをトレーニングする作業も数多く行われている(Shen et al , 2017; Mai et al , 2020)。
訳抜け防止モード: さらに、制御可能なテキスト生成のための自動エンコーダベースのモデル(Shen et al, 2017; 2020; Mai et al)をトレーニングする作業も多い。 2020 ) .
0.81
These approaches make controllability easier by learning a latent space that is more easily manipulated to encourage models to generate text corresponding to a target attribute such as positive sentiment in the case of sentiment transfer. これらのアプローチにより、より容易に操作できる潜伏空間を学習し、感情伝達の場合の肯定的な感情などの対象属性に対応するテキストを生成するようモデルに促すことができる。
訳抜け防止モード: これらのアプローチは制御性を容易にします より簡単に操作できる潜在空間を 学習することで 感情伝達の場合、ポジティブ感情などの対象属性に対応するテキストを生成するモデル。
0.79
We take a more direct approach and explore whether it is possible to extract latent vectors directly from pretrained language model decoders without fine-tuning. より直接的なアプローチを採り、微調整なしで事前訓練された言語モデルデコーダから直接潜在ベクトルを抽出できるかどうかを探る。 0.70
We call these vectors steering vectors and define the latent steering space of a sentence under a language model by the set of extracted steering vectors, which steer the model to generate that sentence exactly. 我々はこれらのベクトルをステアリングベクトルと呼び、抽出されたステアリングベクトルの集合によって言語モデルの下で文の潜在ステアリング空間を定義し、それによってその文を正確に生成する。 0.74
During decoding, we add our steering vector to the hidden states of the language model to generate the target sentence. 復号中に、言語モデルの隠れた状態に対してステアリングベクトルを追加して、ターゲット文を生成します。 0.71
Rather than training a model to learn steering vectors, we provide several methods to extract fixedlength steering vectors directly from pretrained language model decoders. ステアリングベクトルを学ぶためにモデルをトレーニングする代わりに、プリトレーニングされた言語モデルデコーダから直接固定長ステアリングベクトルを抽出するいくつかの方法を提供する。 0.65
Experiments show that we can extract steering vectors effectively, achieving nearly perfect recovery for English sentences from a variety of domains without fine-tuning the underlying language model at all. 実験により、ステアリングベクトルを効果的に抽出し、基礎となる言語モデルを微調整することなく、様々なドメインから英語文をほぼ完全に復元できることが示されている。 0.67
Next, we take our extracted steering vectors and explore whether they can be used for unsupervised sentiment transfer on the Yelp sentiment benchmark (Zhang et al , 2015). 次に、抽出したステアリングベクトルを使ってyelpセンチメントベンチマーク(zhang et al , 2015)で教師なしのセンチメント転送に使用できるかどうかを調べます。 0.59
We find that adding an offset vector to extracted steering vectors performs comparably to carefully designed, autoencoderbased models. 抽出されたステアリングベクトルにオフセットベクトルを加えると、注意深く設計されたオートエンコーダベースのモデルに比較できることがわかった。 0.59
To see whether steering vectors encode semantics, we explore whether they can be used for unsupervised textual similarity. ステアリングベクトルが意味をエンコードするかどうかを調べるために、教師なしのテキストの類似性に使用できるかどうかを検討する。 0.51
On the semantic textual similarity benchmark (STS-B, Cer et al (2017)), our steering vectors outperform extractive methods such as averaging language model セマンティックテキスト類似性ベンチマーク(STS-B, Cer et al (2017))について, 平均言語モデルなどの抽出手法よりも優れたステアリングベクトルについて 0.72
英語(論文から抽出)日本語訳スコア
Figure 1: Our approach adds a vector zsteer to the activations of a pretrained transformer decoder to steer it to decode a desired target sentence. 図1: 提案手法では、事前訓練されたトランスフォーマーデコーダのアクティベーションにベクトルズステアを追加して、所望のターゲット文をデコードする。 0.72
We experiment with adding zsteer to different locations inside a GPT-2 model at different timesteps. GPT-2モデル内の異なる場所に異なる時間ステップでzsteerを追加する実験を行った。 0.73
Experiments reveal that our approach can recover sequences nearly perfectly and that injecting the steering vector in the middle layers of the transformer stack performs best. 実験により, 提案手法がほぼ完璧に回復できること, 変圧器スタックの中間層に操舵ベクトルを注入することが確認できた。 0.74
Layer normalizations and residual connections inside the transformer block are omitted for clarity. トランスブロック内の層正規化と残差接続は明確化のために省略される。 0.70
hidden states and GloVe vectors (Pennington et al , 2014) when measuring the cosine similarity between vectors, but fall short of lexical methods tailored to semantic similarity tasks and methods that finetune on natural language inference datasets. 隠れ状態と手袋ベクトル(pennington et al, 2014)は、ベクトル間のコサイン類似度を測定する際に用いられるが、意味的類似性タスクと自然言語推論データセットに微調整された語彙的手法に欠ける。 0.73
Lastly, we analyze the intrinsic properties of the latent space of our steering vectors. 最後に, ステアリングベクトルの潜伏空間の内在的性質を解析した。 0.66
Experiments show that decoding from interpolations in the latent space produces meaningful output, and that steering vectors from different domains cluster together. 実験により、潜伏空間における補間からの復号化は有意義な出力をもたらし、異なる領域からのステアリングベクトルが一緒に集まることを示した。 0.59
Also, we find that our methods do not simply memorize the target sequence like a naive compression algorithm, and instead leverage the model. また, 本手法では, ターゲットシーケンスを単にナイーブ圧縮アルゴリズムのように記憶するのではなく, モデルを活用する。 0.78
Taken together, our results suggest that frozen language models can be controlled effectively through their latent steering space. その結果,凍結した言語モデルが潜在性ステアリング空間を通じて効果的に制御できることが示唆された。 0.70
2 Extracting Steering Vectors 2 ステアリングベクトルの抽出 0.84
This section discusses our method for extracting a steering vector for a target sentence from a frozen, pretrained language model. 本稿では,凍結事前学習言語モデルから対象文の操舵ベクトルを抽出する方法について述べる。 0.73
Throughout this paper, we use GPT2 as our language model and use its 117M parameter model size (Radford et al , 2019), although our approach can be directly applied to any transformer-based autoregressive language model decoder (Vaswani et al , 2017). 本稿では,gpt2を言語モデルとして使用し,その117mパラメータモデルサイズ(radford et al , 2019)を使用しているが,トランスフォーマベースの自己回帰型言語モデルデコーダ(vaswani et al , 2017)を直接適用できる。 0.84
2.1 Steering Vectors 2.1 ステアリングベクトル 0.72
In controllable text generation and textual style transfer, prior work based on denoising and variational autoencoders opt for a disentangling approach. 制御可能なテキスト生成とテキストスタイル転送では、デノイジングと変分オートエンコーダに基づく先行作業が、反対アプローチを選択する。 0.67
These approaches encode the source sequence into a fixed-length vector using an encoder, apply style transformations using a controller, and finally decode from the transformed vector using a decoder (Shen et al , 2017; Jin et al , 2020). これらのアプローチでは、ソースシーケンスをエンコーダを使用して固定長ベクトルにエンコードし、コントローラを使用してスタイル変換を適用し、最終的にデコーダを使用して変換ベクターからデコードする(shen et al , 2017; jin et al , 2020)。 0.71
Instead of learning an encoder and controller to uncover a representation, we ask whether its possible to extract a vector directly from a pretrained language model decoder in order to steer the model. エンコーダとコントローラを学習して表現を明らかにするのではなく、プリトレーニングされた言語モデルデコーダから直接ベクタを抽出してモデルを操作することができるかどうかを問う。 0.75
Due to the success of hidden layer manipulations for language models including adapter-based fine-tuning (Houlsby et al , 2019), plug-and-play language models (Dathathri et al , 2019), and offsetvector-based recovery and style transfer among others (Subramani et al , 2019; Shen et al , 2020; Mai et al , 2020; Montero et al , 2021), we choose to manipulate the hidden states as well. アダプタベースの微調整(houlsby et al , 2019)、プラグアンドプレイ言語モデル(dathathri et al , 2019)、オフセットベクトルベースのリカバリとスタイル転送(subramani et al , 2019; shen et al , 2020; mai et al , 2020; montero et al , 2021)を含む言語モデルの隠れたレイヤ操作の成功により、隠れた状態も操作できるようになりました。 0.79
Our method works by adding a fixed-length vector zsteer to the hidden states of a pretrained and frozen LM. 本手法は, 固定長ベクトルジステアを予め訓練した凍結したLMの隠れ状態に加えることによって動作する。
訳抜け防止モード: 私たちの方法は 予め訓練された凍った lm の隠れた状態への固定長ベクトル zsteer の追加。
0.65
For a desired target sentence, we randomly initialize zsteer and optimize it via gradient descent to maximize the likelihood of the model given the target sentence. 目的文に対して,zsteerをランダムに初期化し,勾配降下により最適化し,対象文に対するモデルの確率を最大化する。 0.79
At decoding time, we 復号時、私たちは 0.72
英語(論文から抽出)日本語訳スコア
feed a zsteer to the model and perform decoding as usual. zsteerをモデルに供給し、通常通りデコードを実行する。 0.73
The choice of a fixed-length vector makes analysis more meaningful, allowing us to compare vectors for different sentences with different lengths in the same representation space. 固定長ベクトルの選択により解析がより意味を持ち、同じ表現空間における異なる長さの異なる文に対するベクトルを比較することができる。 0.81
2.2 Discovering steering vectors We define our steering vectors zsteer ∈ Rd(cid:48) . 2.2 ステアリングベクトルの発見 ステアリングベクトル zsteer ∈ rd(cid:48) を定義する。 0.77
In our experiments, d(cid:48) ≤ d, where d is the hidden dimension of the underlying language model (for GPT2-117M, d = 768). 実験では、d(cid:48) ≤ d であり、d は基礎となる言語モデルの隠れ次元である(GPT2-117M, d = 768)。 0.74
If d(cid:48) < d, we project zsteer using a semi-orthogonal matrix, Wsteer ∈ Rd(cid:48)×d, which preserves scale. d(cid:48) < d であれば、半直交行列 Wsteer ∈ Rd(cid:48)×d を用いて、スケールを保存する。 0.78
Wsteer is initialized randomly, never trained, and never updated. Wsteerはランダムに初期化され、トレーニングされず、更新されない。 0.60
We estimate a steering vector ˆzsteer ∈ Rd(cid:48) ステアリングベクトル シュステアー ∈ Rd(cid:48) を推定する。 0.76
via the language model for a sentence x by maximizing the log probability of x, while keeping the language model fixed: x のログ確率を最大化することで、文 x の言語モデルを介して、言語モデルを固定する。 0.82
T(cid:88) t=1 T(第88回) t=1 である。 0.45
ˆzsteer = argmax zsteer∈Z アーグマックス・ズステエルZ(argmax zsteerZ) 0.48
log p(xt|x<t, zsteer) log p(xt|x<t, zsteer) 0.49
(1) Here, Z ∈ Rd(cid:48) . (1) ここで Z ∈ Rd(cid:48) である。 0.57
Note: we find a single steering vector zsteer for each sentence x. 注:各文 x に対して単一のステアリングベクトル zsteer が見つかる。 0.75
We use stochastic gradient descent with the Adam (Kingma and Ba, 2014) optimizer and cross entropy loss to find the best ˆzsteer, while freezing the language model. 我々は,Adam(Kingma and Ba, 2014)オプティマイザとクロスエントロピー損失を用いて,最適なシュステアを見つけるとともに,言語モデルを凍結する。 0.72
See algorithm 1 for the pseudocode. 擬似符号のアルゴリズム1を参照。 0.72
Since our method adds zsteer to the activations of the model, the layer we add zsteer to affects recoverability. 我々の手法はモデルの活性化にzsteerを加えるので、回復性に影響を与えるzsteerを追加します。 0.71
We experiment with injecting zsteer at different layers (injection locations): at the embedding layer, right before language model head (LM Head), after self-attention layer in the transformer stack, after feed-forward layer in the transformer stack as well as combinations of them. 言語モデルヘッド (LMヘッド) 直前の埋め込み層, 変圧器スタックの自己保持層, 変圧器スタックのフィードフォワード層, およびそれらの組み合わせにおいて, 異なる層 (注入位置) にzsteerを注入する実験を行った。 0.71
In addition to varying injection locations, we also vary the timesteps where zsteer gets added. 様々な注入場所に加えて、zsteerが追加される時間ステップも変更します。 0.69
We experiment with adding zsteer at just the first timestep and at every timestep. zsteerを最初のタイムステップとすべてのタイムステップで追加する実験を行った。 0.70
See Figure 1 for details. 2.3 Steering Language Models We steer the language model using zsteer to generate a target sentence x by passing in a beginningof-sentence token and zsteer to the model. 詳細は図1を参照。 2.3 ステアリング言語モデル zsteerを使用して言語モデルをステアリングし、初期文トークンを渡してzsteerをモデルに渡すことでターゲット文xを生成する。 0.80
Since we are interested in exact generation, all results presented use greedy decoding without assuming a true length. 正確な生成に興味があるので、すべての結果が真の長さを仮定せずにgreedyデコーディングを使用した。 0.63
We stop when decoding produces an end-of-sentence token or produces 1024 tokens, the maximum length that GPT-2 can generate. GPT-2が生成できる最大長である1024トークンを生成する場合、復号化は停止する。 0.69
ALGORITHM 1: Extracting zsteer for a sentence Input ALGORITHM 1: 文入力のためのzsteerの抽出 0.85
:x – target sentence M – pretrained language model θ – pretrained language model weights IL– injection location IT– injection timestep d – dimension of zsteer :x - 目標文M - 事前訓練言語モデルθ - 事前訓練言語モデル重み IL - 注入位置IT - 注入時間ステップd - zsteer次元 0.78
Output :zsteer – extracted candidate steering vector Output :zsteer - 抽出された候補ステアリングベクトル 0.83
1 zsteer ∼ xavier_normal(d) 2 for i ← [1, 2, ..., N] do 1 zsteer , xavier_normal(d) 2 for i , [1, 2, ..., n] do である。 0.86
3 4 5 logits = Mθ. 3 4 5 logits = mθ である。 0.56
f orward(x, zsteer, IL, IT ) L = XEN T (logits, x) L.backward() zsteer = zsteer + lr ∗ f orward(x, zsteer, IL, IT ) L = XEN T (logits, x) L.backward() zsteer = zsteer + lr ∗ 0.45
∂L ∂zsteer ∂l ∂zsteer 0.38
6 7 end 8 return zsteer 6 7 エンド8 リターンズステアー 0.51
3 Can we extract steering vectors? 3 ステアリングベクトルを抽出できるか? 0.79
Here, we show that we can robustly extract steering vectors that generate target sentences perfectly. ここでは,目標文を完璧に生成するステアリングベクトルをロバストに抽出できることを示す。 0.72
3.1 Experimental setup We gather a broad corpus spanning four different domains and measure the extent to which our approach can extract a steering vector for each sentence under a variety of experimental conditions, where we vary injection locations and timesteps. 3.1実験セットアップ 4つの異なるドメインにまたがる広いコーパスを収集し、様々な実験条件下で各文のステアリングベクトルを抽出できる範囲を測定する。
訳抜け防止モード: 3.1 4つの異なる領域にまたがる広範コーパスの試作 そして、様々な実験条件下で各文のステアリングベクトルを抽出できる範囲を計測する。 そこでは、注入場所と時間ステップが異なります。
0.72
Data Collection For these experiments on sentence recoverability, we create a dataset which combines four corpora from different domains: movie dialogs (movies), classic books (books), news articles (news), and Wikipedia (wiki). 文の復元性に関するこれらの実験のためのデータ収集では、映画ダイアログ(映画)、古典本(書籍)、ニュース記事(ニュース)、wikipedia(wiki)の4つのコーパスを組み合わせたデータセットを作成する。 0.77
For movies, we choose the Cornell Movie Dialogs corpus (Danescu-Niculescu-M izil and Lee, 2011), which consists of fictional conversations from movie scripts. 映画では、映画脚本からの架空の会話からなるコーネル映画ダイアログコーパス(Danescu-Niculescu-M izil and Lee, 2011)を選択する。 0.77
We choose NLTK’s Gutenberg dataset for our books portion, which consists of a subset of texts from Project Gutenberg (Lebert, 2008). 私たちは、project gutenberg(lebert, 2008)のテキストのサブセットからなる本部分のために、nltkのgutenbergデータセットを選択します。 0.70
Our news subset comes from the Gigaword dataset for abstractive summarization (Graff et al , 2003). 私たちのニュースサブセットは、抽象要約のためのgigawordデータセット(graff et al , 2003)から来ています。 0.62
Lastly, our Wikipedia portion comes from WikiText-103 (Merity et al , 2017). 最後に、われわれのWikipediaの部分はWikiText-103(Merity et al , 2017)から来ている。 0.65
For movies, news, and wiki, we extract sentences from its prespecified validation set. 映画、ニュース、ウィキでは、事前に指定された検証セットから文を抽出する。 0.54
For books, since NLTK’s Gutenberg dataset lacks a pre-specified data split, we consider the entire dataset. 書籍では、NLTKのGutenbergデータセットには、事前に指定されたデータ分割がないため、データセット全体を考慮する。 0.59
Data Preprocessing We sentence tokenize all datasets using NLTK’s sentence tokenizer. データ前処理 NLTKの文トークン化器を使用してすべてのデータセットをトークン化する。 0.53
To construct our dataset, we group sentences by sentence length into 8 bins: 5-10, 10-15, 15-20, 20-25, 2530, 30-35, 35-40, and 40-128 using NLTK’s wordlevel, regular expression tokenizer. NLTKの単語レベル正規表現トークンーを用いて, 文長を5-10, 10-15, 15-20, 20-25, 2530, 30-35, 35-40, 40-128の8ビンに分類した。 0.73
Next, we ran- 次に走りました。 0.42
英語(論文から抽出)日本語訳スコア
Injection location Embedding Layer 6 (self attn) Layer 6 (self attn) Layer 7 (feed fwd) Layer 7 (feed fwd) 射出位置 埋め込み 層6(自己attn)層6(自己attn)層7(フィードfwd)層7(フィードfwd) 0.49
All layers (self attn + feed fwd) 全層 (自己attn+フィードfwd) 0.58
All layers (self attn + feed fwd) 全層 (自己attn+フィードfwd) 0.58
Timestep all timesteps all timesteps first timestep all timesteps first timestep timestep all timesteps all timesteps first timestep all timesteps first timesteps 0.42
all timesteps すべての時間ステップ 0.55
BLEU-4 33.99 100.0 99.80 100.0 99.25 BLEU-4 33.99 100.0 99.80 100.0 99.25 0.26
100.0 first timestep 100.0 first‐timestep 0.34
91.72 LM head 91.72 LMヘッド 0.55
all timesteps すべての時間ステップ 0.55
6.72 Table 1: Sentence recovery for steering vectors when injected into different layers of the transformer model (Figure 1) and at multiple timesteps (all timesteps or first timestep). 6.72 表1:トランスフォーマーモデルの異なる層に注入された場合のステアリングベクトルに対する文回復(図1)および複数の時間ステップ(すべての時間ステップまたは最初の時間ステップ)。 0.53
Results show that injecting a steering vector into the transformer stack, even at just the first timestep, can lead to nearly perfect recovery as long as it is in the middle of the network (layers 6 or 7 of 12). その結果、変圧器スタックにステアリングベクターを注入すると、ネットワークの中央にある場合(層6、層7、層12)でもほぼ完璧に回復できることがわかった。
訳抜け防止モード: その結果, 変圧器スタックへのステアリングベクトルの注入は, 最初の時間ステップでも可能であることがわかった。 ほぼ完ぺきな回復に 繋がる可能性があるのです ネットワークの中央に位置する(レイヤは12の6または7)。
0.65
domly sample 8 sentences from each bin to examine the efficacy of our method for a variety of sequence lengths. それぞれのビンから ドムリーサンプル8文を採取 様々な配列の長さの方法の有効性を調べる
訳抜け防止モード: それぞれのビンから8つの文を ドムリーサンプルで 様々なシーケンス長の方法の有効性を 検証するためです
0.79
Measuring the Effectiveness of Steering Given a target sentence s, we measure how well the steering vector zsteer can recover the target sentence by first greedily decoding from the language model with zsteer, and then computing smoothed BLEU-4 using the target sentence s and our decoded reconstruction ˆs (Papineni et al , 2002; Chen and Cherry, 2014). 対象文sのステアリングの有効性を計測し、まずzsteerで言語モデルからグレッシブに復号し、次に目標文sと復号化復元sを用いて平滑化bleu-4を演算することにより、ステアリングベクトルzsteerが目標文の回復率を計測する(papineni et al , 2002; chen and cherry, 2014)。 0.75
Hyperparameter Search Our initial experiments showed little variation to most hyperparameters such as initialization method and learning rate schedule, so we fixed them in subsequent experiments using the values in Table 6 in the appendix. ハイパーパラメータ探索では初期化法や学習率スケジュールなど,ほとんどのハイパーパラメータにほとんど変化が見られなかったので,付録中の表6の値を用いてその後の実験で修正した。 0.73
We choose GPT2-117M as our language model and evaluate recovery on our dataset while varying injection locations and injection timesteps, the two hyperparameters that affect results significantly. gpt2-117mを言語モデルとして選択し,インジェクション位置とインジェクション時間ステップを異にしながら,データセットのリカバリを評価する。 0.61
We present a subset of the results in Table 1 and the full set in the appendix (Tables 7, 8, and 9). 結果のサブセットを表1に、全集合を付録(表7、7、8、9)に示します。 0.56
3.2 Recovery effectiveness Table 1 shows reconstruction performance for several injection methods and indicates that we can recover a target sentence with perfect recovery when injecting zsteer in the middle of the transformer stack (layers 6 or 7 of 12) at just the first timestep and at all timesteps, for sequences up to 128 to- 3.2回復効果表1は、複数の注入方法における再構成性能を示し、128〜128までのシーケンスに対して、変圧器スタック(12の層6,7)の中央にzsteerを注入した場合、目標文を完璧に回復できることを示す。 0.71
Figure 2: TSNE projection of 8 steering vectors initialized from different random seeds for 20 different sentences (injected at layer 6, after self-attention). 図2: 20の異なる文に対して異なるランダムシードから初期化された8つのステアリングベクトルのTSNE投影(自己注意後に第6層に注入)。 0.67
zsteer is well-separated for different sentences, and the different seeds are tightly clustered for the same target sentence, indicating that our extraction method is robust. 異なる文に対してzsteerを分離し,同じ文に対して異なる種子を密集し,抽出法が堅牢であることを示す。 0.68
kens. We surmise that the middle layers of the transformer stack encode sufficiently rich feature representations that a small perturbation of a hidden layer, a steering vector, is sufficient to recover a sentence. ケンズ 我々は,変換器スタックの中間層が十分にリッチな特徴表現を符号化し,隠れ層の小さな摂動,ステアリングベクトルが文を復元するのに十分であることを推測する。 0.56
The success of steering vectors when injected in the middle of the transformer could help explain why adapter-based fine-tuning is effective. トランスの中央に注入されたときのステアリングベクトルの成功は、アダプタベースの微調整が有効である理由を説明するのに役立つ。 0.64
In contrast, we find that we cannot steer GPT-2 at either the embedding or final language model head locations. 対照的に、組込みまたは最終言語モデルヘッドロケーションでGPT-2を操ることはできない。
訳抜け防止モード: それとは対照的に GPT-2を埋め込みまたは最終言語モデルヘッドロケーションで操作することはできない。
0.77
We suspect this is due to the fact that the embedding layer solely captures low-level information (Lin et al , 2019; Ethayarajh, 2019; Rogers et al , 2020). これは、埋め込み層が低レベルの情報のみをキャプチャするという事実によるものと思われる(lin et al , 2019; ethayarajh, 2019; rogers et al , 2020)。 0.84
Poor recovery at the LM head location is somewhat surprising, but could be explained by noting that the model has very low capacity above this layer. LMヘッド位置での粗悪なリカバリは多少驚きだが、モデルがこの層の上に非常に低いキャパシティを持つことに注意すれば説明できる。 0.65
This suggests that alternative steering mechanisms, such as DExperts, that intervene at the output layers could potentially be improved by modifying hidden states elsewhere in the transformer stack (Liu et al , 2021). これは、出力層に介入するデクセルトのような代替ステアリング機構がトランスフォーマースタック(liu et al, 2021)の他の場所に隠れた状態を変更することで改善される可能性があることを示唆している。 0.73
Robustness Now that we have established that steering vector extraction is possible, we explore whether there exist multiple steering vectors which recover the same sentence, and if so, what the relationship is between these vectors. ステアリングベクトル抽出が可能であることが確立された今、同じ文を復元する複数のステアリングベクトルが存在するかどうか、もしそうであれば、これらのベクトル間の関係が何であるかを考察する。 0.70
To do this, we take all 64 sentences from the books subset of the main dataset and initialize 8 different steering vectors for each sentence from different seeds. これを実現するために、本データセットの書籍サブセットから64文を全て取り、異なる種から各文ごとに8つの異なるステアリングベクトルを初期化する。 0.72
Experiments reveal that for most sentences (63 of 64) all initializations recover the target sentence 実験の結果、ほとんどの文(64の63)において、すべての初期化が対象の文を復元することが明らかとなった。 0.46
英語(論文から抽出)日本語訳スコア
perfectly, confirming the robustness of our method. 完璧に 方法の堅牢性を確認します 0.64
Latent geometry in text-based auto-encoders struggle with mapping vectors from one space to another consistently (e g token space to latent space) (Bowman et al , 2016; Shen et al , 2020). テキストベースの自動エンコーダにおける潜時幾何学は、ある空間から別の空間へのベクトルのマッピング(例えばトークン空間から潜時空間への写像)に一貫して苦労する(Bowman et al , 2016; Shen et al , 2020)。 0.65
The denoising auto-encoder offers a more consistent token space to latent space mapping (Vincent et al , 2008). denoising auto-encoderは、潜在空間マッピング(vincent et al , 2008)に対するより一貫性のあるトークン空間を提供する。 0.73
To explore whether our steering vectors have a distance-preserving mapping, we cluster the different initializations of steering vectors. ステアリングベクトルが距離保存写像を持つかどうかを調べるため、ステアリングベクトルの異なる初期化をクラスタリングする。 0.69
We extract 8 steering vectors for each of 20 sentences from the books corpus and down-project them into two-dimensions via TSNE (Maaten and Hinton, 2008). 本コーパスから20文毎に8個のステアリングベクタを抽出し,tsne(maaten and hinton, 2008)を介して2次元にダウンプロジェクションする。 0.71
Figure 2 shows 20 distinct clusters, one for each sentence. 図2は、各文ごとに20の異なるクラスタを示しています。 0.68
This indicates that distances between different vectors representing the same target sentence are much smaller than distances between vectors representing different sentences, and that distances in token space could be reflected in the latent steering space. これは、同じ対象文を表す異なるベクトル間の距離が、異なる文を表すベクトル間の距離よりもはるかに小さく、トークン空間内の距離が潜在ステアリング空間に反映されることを示している。 0.76
Motivated by the clustering results, we investigate whether the mean vector of the 8 extracted steering vectors for each target sentence recover the same sentence. クラスタリングの結果から,対象文毎に抽出された8つのステアリングベクトルの平均ベクトルが同じ文を復元するかどうかを検討した。 0.70
Experiments show that mean vectors are able to recover target sentences nearly perfectly, leading to a BLEU-4 of 99.4, further establishing the robustness of our method. 実験により、平均ベクトルはターゲットの文をほぼ完全に復元でき、その結果 BLEU-4 は 99.4 となり、さらに我々の手法の堅牢性を確立した。 0.63
4 Is unsupervised style transfer in the latent steering space possible? 4 潜在ステアリング空間における教師なしスタイル転送は可能か? 0.56
We explore whether vector arithmetic in this space is possible in the context of unsupervised style transfer. この空間におけるベクトル算術が教師なしスタイル転送の文脈で可能かどうかを考察する。 0.71
In other words, we measure whether adding an offset vector, which captures the desired style transfer, to the steering vector effectively changes the style of the generated sentence. 言い換えると、所望のスタイル転送をキャプチャするオフセットベクターをステアリングベクターに加えることにより、生成された文のスタイルが効果的に変化するかどうかを測定する。 0.79
Here, we show that unsupervised vector arithmetic with steering vectors is effective for unsupervised sentiment transfer, with performance comparable to models tailored to this task. ここでは、制御ベクトルを用いた教師なしベクトル算術が教師なし感情伝達に有効であることを示し、このタスクに合わせたモデルに匹敵する性能を示す。 0.60
After extracting steering vectors for each sentence, we compute offset vectors by averaging steering vectors for a set of sentences in the source style ¯zsource and subtracting from the average of a set of steering vectors for the target style ¯ztarget. 各文のステアリングベクトルを抽出した後、ソーススタイルであるzsourceの一連の文に対してステアリングベクトルを平均化し、ターゲットスタイルであるztargetのステアリングベクトルの集合の平均から減算することにより、オフセットベクトルを計算する。 0.75
Next, we flip the style of each sentence in our test set by adding the respective style transfer vector directly to its steering vector after scaling it by λ: 次に、λでスケーリングした後、各スタイル転送ベクトルを直接そのステアリングベクトルに追加することで、テストセットの各文のスタイルを反転させる。 0.83
ztotarget = ¯ztarget − ¯zsource ˆztarget = zsource + λ · ztotarget ztotarget (複数形 ztotargets または ztotargets) 0.41
(2) (3) Figure 3: Evaluation of unsupervised sentiment transfer on the Yelp dataset. (2) (3) 図3:Yelpデータセットにおける教師なしの感情伝達の評価。 0.50
The plot shows accuracy vs. self-BLEU by varying λ = (0.25, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 4.0, 5.0, 10.0) for our method. このプロットはλ = (0.25, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 4.0, 5.0, 10.0) の精度を示す。 0.61
Overall, the steering vectors perform comparably to prior work. 総じて、ステアリングベクトルは、先行作業と同等に実行される。 0.64
Unsupervised Sentiment Transfer Using the Yelp Sentiment dataset preprocessed by Shen et al (2017), we take 100 sentences from the validation set from each of the two classes of sentiment to compute offset vectors and evaluate on the test set. Shen et al (2017) が前処理したYelp Sentiment データセットを用いた教師なしセンティメント転送では、2種類の感情のそれぞれのクラスから検証セットから100文を抽出し、オフセットベクトルを計算し、テストセットで評価する。 0.72
Following prior work (Shen et al , 2017), we measure how well this approach flips the sentiment of the sentence by measuring the accuracy of a RoBERTA-base model fine-tuned on the Yelp sentiment dataset. 先行研究(Shen et al , 2017)に続いて、Yelpの感情データセットに基づいて微調整されたRoBERTAベースのモデルの精度を計測することにより、このアプローチが文の感情をいかに反転させるかを測定する。 0.61
We also measure the BLEU-4 between the style transferred sentences and the original and report the results in Figure 3. また、スタイル変換文とオリジナル文のbleu-4を計測し、結果を図3に示す。 0.56
We call this Self-BLEU following prior work. 私たちはこのセルフBLEUを以前の作業の後に呼びます。 0.46
For this experiment, our steering vectors are injected after the 7th self-attention layer at the first timestep. 本実験では,第7自己保持層の後,第1段階に操舵ベクトルを注入した。 0.74
We find that simple vector arithmetic via our steering vectors, which is fully unsupervised, performs comparably to Shen et al (2017), who learn an autoencoder-based model for the task in a fully supervised manner. 完全教師なしのステアリングベクトルによる単純ベクトル算術は、完全に教師された方法でタスクのオートエンコーダに基づくモデルを学ぶShen et al (2017) と相容れない。 0.63
Our method also compares well with the Autobot (Montero et al , 2021), AAE, and DAAE models (Shen et al , 2020), which although are unsupervised, either require training on in-domain data or require pretraining on millions of tokens in order to be effective. また,autobot (montero et al , 2021), aae, daaeモデル (shen et al , 2020) との比較を行った。
訳抜け防止モード: また,本手法は Autobot ( Montero et al) とよく比較できる。 2021年)、AAE、DAAEモデル(Shen et al, 2020年)。 教師なしだが、イン・ドメイン・データのトレーニングを必要とする。 数百万のトークンの事前訓練が必要になります
0.63
Other methods that use techniques from unsupervised machine translation to leverage the unpaired data in the task outperform all of these methods significantly (Hu et al , 2017; Lample et al , 2019; He et al , 2020). 教師なし機械翻訳の技法を駆使してタスク内の未ペアデータを活用する他の手法は、これらの手法を著しく上回っている(Hu et al , 2017; Lample et al , 2019; He et al , 2020)。 0.73
英語(論文から抽出)日本語訳スコア
Steering vectors ステアリングベクトル 0.72
Positive Input +0.5 ∗ ztonegative +1.0 ∗ ztonegative +1.5 ∗ ztonegative +2.0 ∗ ztonegative Negative Input +0.5 ∗ ztopositive +1.0 ∗ ztopositive +1.5 ∗ ztopositive +2.0 ∗ ztopositive 正の入力 +0.5 ∗ zto negative +1.0 ∗ zto negative +1.5 ∗ zto negative +2.0 ∗ zto negative Negative Input +0.5 ∗ zto positive +1.0 ∗ zto positive +1.5 ∗ zto positive +2.0 ∗ zto positive 0.26
the taste is excellent! the taste is excellent! the taste is excellent! the taste is bitter and bitter taste is bitter taste is bitter the taste is unpleasant. 味はいい! 味はいい! 味はいい! 味はいい! 味は苦く 苦味は苦味は苦味で 味は不快だ。 0.60
the desserts were very bland. デザートはとても荒々しいものでした 0.67
the desserts were very bland. デザートはとても荒々しいものでした 0.67
the desserts were very bland . デザートはとても美味しかった。 0.56
the desserts were very tasty. デザートはとてもおいしかった。 0.62
the desserts were very tasty. デザートはとてもおいしかった。 0.62
Table 2: Examples of transferring sentiment using steering vectors for a positive input sentence (top) and negative input sentence (bottom). 表2: 正の入力文(トップ)と負の入力文(ボットム)に対するステアリングベクトルを用いた感情伝達の例。 0.82
These results show fluency and accuracy in transfers while preserving the content of the input sentence. これらの結果は、入力文の内容を保持しながら転送の流布度と精度を示す。 0.69
These methods are not directly comparable to ours, as they evaluate on a different test set altogether and use the training set to train directly. これらのメソッドは、異なるテストセットで評価し、トレーニングセットを使って直接トレーニングするため、私たちの方法と直接比較することはできません。
訳抜け防止モード: これらの手法は我々のものと直接比較されない。 全く異なるテストセットで評価し トレーニングセットを使って 直接訓練します
0.79
Our method only requires access to 100 labeled examples per class to compute ¯zsource and ¯ztarget, far fewer than other baselines. このメソッドは、クラスごとに100個のラベル付きサンプルにアクセスして、他のベースラインよりもはるかに少ない、/zsourceと/ztargetを計算するだけである。
訳抜け防止モード: 私たちのメソッドはクラス毎に100のラベル付き例にアクセスするだけです。 他のベースラインよりもはるかに少ない。
0.64
With as few as 10 examples per class, performance of our method remains competitive with autoencoder-based baselines. クラス毎に10の例しかありませんが、このメソッドのパフォーマンスはオートエンコーダベースのベースラインと競合するままです。 0.57
Table 2 shows examples generated by our method for two input sentences. 表2は、2つの入力文の方法によって生成された例を示す。 0.58
We find that resulting sentences become more positive or negative with increasing λ and often modify adjectives by swapping them out. 結果文はλの増加に伴って肯定的あるいは否定的になり、しばしば形容詞を交換して修飾する。 0.68
On closer inspection, we find that fluency is often challenging for higher values of λ and that the generated sequences repeat individual words or phrases. より綿密な検査では、λのより高い値に対して流布がしばしば困難であり、生成された列は個々の単語やフレーズを繰り返す。
訳抜け防止モード: 綿密に検査すると フルエンシーはしばしばλのより高い値に挑戦する そして生成されたシーケンスは、個々の単語やフレーズを繰り返します。
0.76
In addition, we find that negative to positive sentiment transfer is qualitatively more fluent and accurate than positive to negative sentiment transfer; see Table 12 in the appendix for more example generations. さらに、負の感情移入は、負の感情移入よりも質的に流動的で正確であることが判明した。
訳抜け防止モード: さらに私たちは ポジティブな感情伝達に対する否定は、ネガティブな感情伝達よりも質的に流動的で正確である さらなる例については、付録の表 12 を参照してください。
0.62
Lastly, we evaluate on 19 paired style transfer tasks from the StylePTB dataset (Lyu et al , 2021), but modify the tasks to be unsupervised, following the same approach as above. 最後に、styleptbデータセット(lyu et al , 2021)から19対のスタイル転送タスクを評価するが、上記のアプローチに従って、教師なしのタスクを変更する。 0.62
We find that our method is similarly effective on these tasks; see Table 10 in the appendix for details. この方法も同様にこれらのタスクに有効であることに気付き、詳細は付録のテーブル10を参照してください。 0.65
5 Do distances between steering vectors 5 ステアリングベクトル間の距離 0.77
reflect sentence similarity? 文の類似性を反映する? 0.51
Previously, we found there exist multiple steering vectors that recover a target sentence and that those steering vectors are close together. 従来,複数のステアリングベクトルが対象文を復元し,それらのステアリングベクトルが近接していることがわかった。 0.75
This indicates the potential for distances in token space to be reflected in distances in the latent space occupied これは、占有された潜在空間の距離に反映されるトークン空間における距離のポテンシャルを示す。 0.76
Figure 4: On the test split of STS-B, we measure Spearman rank correlation (ρ·100) between sentence similarity scores and cosine similarities between the steering vectors extracted from GPT2-117M when injected at different layers at the first timestep for those sentences. 図4: STS-Bの試験分割では, 文類似度スコア間のスピアマンランク相関(ρ·100)と, GPT2-117Mから抽出したステアリングベクトル間のコサイン類似度を, 文の最初の段階で異なる層に注入した場合に測定する。 0.71
The vertical lines indicate extractive baselines: meanpooled final hidden states for GPT2-117M and BERTbase as well as mean-pooled GloVe vectors. 垂直線は抽出基線を示す: GPT2-117M と BERTbase に対する平均プールされた最終隠れ状態と平均プールされたGloVeベクトル。 0.60
Results show that extracted steering vectors outperform these. その結果, 抽出したステアリングベクターはこれらのベクターよりも優れていた。 0.41
by steering vectors. ベクトルを操ることで 0.60
In this section, we explore whether distances relate to semantic similarity. 本稿では,距離が意味的類似性に関連するかどうかを考察する。 0.61
To do so, we use the STS-B test dataset, which consists of sentence pairs and similarity scores. そのため,文対と類似度スコアからなるSTS-Bテストデータセットを用いる。 0.71
To evaluate our method we extract steering vectors for each sentence separately, compute cosine similarity, and then correlate cosine similarity with annotator similarity via Spearman rank correlation. 本手法を評価するために,各文のステアリングベクトルを別々に抽出し,コサイン類似度を計算し,スピアマンランク相関を用いてコサイン類似度とアノテーション類似度を関連付ける。 0.71
In Figure 4, we show how well extracted steering vectors perform when injected at different layers and at the first timestep in the transformer stack. 図4では、異なる層およびトランススタックの最初のタイムステップにおいて、抽出されたステアリングベクターがいかにうまく機能するかを示す。 0.67
This observation mirrors the results from the experiment on recovery effectiveness: middle layers in the transformer stack are ideal for steering, leading to perfect recovery and highest performance on semantic similarity. この観察は、回復効果の実験の結果を反映している: トランスフォーマースタックの中間層は、ステアリングに理想的であり、完全な回復と、セマンティクスの類似性に関する最高性能をもたらす。 0.68
We outperform mean pooling the final hidden states of GPT2-117M and BERTbase as well as averaged GloVe vectors. gpt2-117mとbertbaseの最終的な隠れた状態と平均グローブベクトルをプールする平均よりも優れています。 0.42
Even though our method is fully extractive, cosine distances reflect semantic similarity well. 本手法は完全に抽出されるが,コサイン距離は意味的類似性をよく反映する。 0.59
We take our two best performing configurations, the 7th self-attention layer and the 7th feedforward layer, and compare with unsupervised methods for tex- 第7セルフアテンション層と第7フィードフォワード層という2つの最高のパフォーマンス構成を,texの教師なし手法と比較した。 0.64
英語(論文から抽出)日本語訳スコア
Method Spearman Pearson 方法 スピアマン ピアソン 0.49
Extractive methods Avg GPT2-117M embeddings Avg Bert embeddings Avg GloVe embeddings Layer-7 self attention (ours) Layer-7 feedforward (ours) 抽出方法 Avg GPT2-117Mbeddings Avg Bertbeddings Avg GloVebeddings Layer-7 self attention (ours) Layer-7 feedforward (ours) 0.37
25.92 47.29 42.53 52.04 52.08 25.92 47.29 42.53 52.04 52.08 0.22
NLI-finetuned methods AutoBot-base InferSent - GloVe SBERT-NLI-base NLI微細化法 AutoBot-base Infersent-GloVe SBERT-NLI-base 0.41
GloVe+UP GloVe+WR GloVe+UP GloVe+WR 0.25
58.49 68.03 77.03 58.49 68.03 77.03 0.24
Lexical methods - 16.52 47.91 40.25 51.17 51.18 語彙法 - 16.52 47.91 40.25 51.17 51.18 0.32
- 71.5 72.0 - 71.5 72.0 0.34
Table 3: We evaluate performance on the STS-B test set by measuring Spearman rank correlation and Pearson correlation (ρ · 100). 表3:スピアマンランク相関とピアソン相関(ρ ·100)を測定し,STS-Bテストセットの性能評価を行った。 0.82
We take our two best performing configurations from Figure 4 and compare them with three classes of unsupervised methods: extractive, NLI-finetuned, and lexical methods. 図4から2つの最高のパフォーマンス設定を取得し、教師なしメソッド(extractive、nli-finetuned、lexical)の3つのクラスと比較します。 0.58
Our method outperforms the extractive methods, but performs worse than the other methods, which are tailored for this task. 本手法は抽出法よりも優れるが, 処理に適した他の方法よりも性能が劣る。 0.70
tual similarity. Table 3 shows that our extracted steering vectors out-perform prior extractive unsupervised methods. 授業の類似性 表3は,抽出したステアリングベクトルが先行抽出型非教師付き手法より優れていることを示す。 0.53
Predictably, however, methods which pretrain or fine-tune models on natural language inference datasets such as AutoBot (Montero et al , 2021), InferSent (Conneau et al , 2017), and SBERT (Reimers and Gurevych, 2019) perform better. しかし、AutoBot(Montero et al , 2021)、InferSent(Conneau et al , 2017)、SBERT(Reimers and Gurevych, 2019)などの自然言語推論データセットの事前トレーニングや微調整を行う手法は、予想通り優れている。 0.72
Lexical methods tailored for semantic similarity such as GloVe with uSIF-weighting and piecewise component removal (GloVE + UP; Ethayarajh (2018)) and GloVe + WR (Arora et al , 2017) also outperform our method. また,uSIF重み付きGloVeや断片的成分除去(GloVE + UP; Ethayarajh (2018))やGloVe + WR (Arora et al , 2017)といった意味的類似性に適した語彙的手法も,本手法より優れている。 0.64
6 Analysis of Properties Interpolation 6.1 Previous experiments indicate that the latent space occupied by steering vectors could be well-formed and smooth. 6 特性解析 補間 6.1 以前の実験では、ステアリングベクトルが占有する潜在空間はよく形成され滑らかであることが示されている。
訳抜け防止モード: 6 特性解析 補間 6.1 以前の実験から、 ステアリングベクトルが占める潜伏空間は うまく形成され 滑らかになる
0.69
To evaluate this qualitatively, we show linear interpolations of two pairs of steering vectors extracted from the Yelp Sentiment dataset in Figure 5. これを定性的に評価するために、図5のYelp Sentimentデータセットから抽出した2組のステアリングベクトルの線形補間を示す。 0.77
The space between the vectors look smooth with well-formed grammatical sentences that mix the content of two sentences effectively. ベクトル間の空間は、2つの文の内容を効果的に混ぜ合わせた文法文で滑らかに見えます。 0.70
The first interpolation (sentence pair 1) in Figure 5 shows that the positive sentiment of the first sentence car- 図5の第1補間(sentence pair 1)は、第1文のcarの肯定的な感情を示す。 0.74
Figure 5: Interpolation between steering vectors extracted from two pairs of random sentences from the Yelp Sentiment test set. 図5:Yelp Sentimentテストセットから2組のランダム文から抽出されたステアリングベクトル間の補間。 0.79
Decoding from interpolated vectors from two sentences produces well-formed output that incrementally changes the sentiment and meaning. 2つの文からの補間ベクトルからの復号は、感情と意味を漸進的に変化させる、よく形づくられた出力を生成する。
訳抜け防止モード: 2つの文からの補間ベクトルからの復号 感情と意味を漸進的に変化させる。
0.60
ries all the way to λ = 0.7, despite the content of the sentence changing to the second sentence. 文の内容が第2文に変化したにもかかわらず、 λ = 0.7 となる。 0.78
The second interpolation (sentence pair 2) in Figure 5 indicates that the latent space could encode some semantics relating to time. 図5の第二補間(文対2)は、潜在空間が時間に関する意味論を符号化できることを示している。 0.77
The second sentence includes the word "young" and so the transition between the two in λ = 0.3, 0.4 combines the word "four" from the first sentence with the temporal component of "years ago" to relate the two sentences. 2番目の文には「ヤング」という単語が含まれており、λ = 0.3, 0.4の2つの文間の遷移は、第1の文から「フォー」という単語と「1年前」の時間成分を組み合わせて、2つの文を関連づける。 0.59
Lastly, for each individual sentence there exists a radius around it where those vectors also steer the language model to generate the same target sentence. 最後に、各文に対して、それらのベクトルが言語モデルを操り、同じターゲット文を生成する半径が存在する。 0.69
This could indicate that sentences have a representative volume from which, if any vector was sampled, could recover the sentence. これは、任意のベクトルがサンプリングされた場合、文が回復できる代表ボリュームを持つことを示すことができる。 0.74
6.2 Sampling Previous experiments show distances reflect semantic similarity and hint at the possibility that the latent space is smooth. 6.2 サンプリング 以前の実験では、距離は意味的類似性を反映しており、潜伏空間が滑らかである可能性を示唆している。 0.59
Given this, we evaluate whether we can sample from this space. このことから、この空間からサンプルを採取できるかどうかを評価する。 0.67
We take 4000 extracted steering vectors from the Yelp Sentiment test set. Yelp Sentimentテストセットから4000個のステアリングベクトルを抽出した。 0.78
We treat each dimension of the steering vector as an independent random variable that is normally distributed with a mean and variance equal to the mean and variance across that dimension over this set of steering vectors. ステアリングベクトルの各次元を、通常、このステアリングベクトルの集合上のその次元の平均と分散に等しい平均と分散で分布する独立したランダム変数として扱う。 0.75
Table 11 shows the results of sampling 24 steering 表11は24ステアリングのサンプリング結果を示しています 0.70
英語(論文から抽出)日本語訳スコア
vectors and generating from them. ベクトルを発生させます 0.55
We observe mixed results: 5 samples lead to fully-formed sentences, and the remaining 19 lead to single tokens or phrases, indicating that treating steering vectors as samples from a multivariate Gaussian is not a reliable approach for sampling well-formed text. 5つのサンプルが完全文となり、残りの19が単一トークンやフレーズとなり、多変量ガウスのサンプルとしてステアリングベクターを扱い、十分に整形されたテキストをサンプリングするための信頼性の高いアプローチではないことを示す。 0.72
Intrinsic Dimension & Space Complexity 6.3 We define the intrinsic dimension of the task of steering a language model as the minimum dimension of zsteer that achieves perfect recovery on a set of sentences. 内在次元と空間複雑性 6.3 我々は、言語モデルを操るタスクの内在次元を、一連の文の完全な回復を達成するzsteerの最小次元として定義する。 0.80
To measure intrinsic dimension, we vary the dimensions of zsteer, choosing 192, 384, 576, 768. 固有次元を測定するため、zsteer の次元は 192, 384, 576, 768 を選択する。 0.66
We observe that reconstruction BLEU increases as the steering vector dimension increases, indicating that 768 dimensions may be needed to recover sequences nearly perfectly. ステアリングベクトル次元が大きくなるにつれて, BLEUの再構成が増加し, ほぼ完璧にシーケンスを復元するためには, 768次元が必要である可能性が示唆された。 0.60
Given this, we conclude that the intrinsic dimension is at most 768. このことから、本質的な次元は少なくとも768である。 0.58
However, a lower-dimensional representation can recover most sentences: 384 dimensions led to a reconstruction BLEU of 83.29. しかし、低次元表現はほとんどの文を復元することができる: 384次元は 83.29 の BLEU を再構成した。 0.64
See Table 4 for more details. 詳細はテーブル4を参照。 0.74
Additionally, we find that sentence length and reconstruction BLEU are inversely correlated, i.e. longer sequences are harder to recover. また,文長と再構成ブレウが逆相関していること,すなわち,長いシーケンスの復元が困難であることが判明した。
訳抜け防止モード: さらに私たちは 文長と再構成ブレウは逆相関しており、長いシーケンスは回復が困難である。
0.69
This is well-known; the number of bits needed to encode a sequence grows linearly with its length. これはよく知られており、シーケンスをエンコードするのに必要なビット数は、その長さで線形に増加する。 0.63
We find that all four dimensions of steering vectors can recover short sentences, but lower dimensional steering vectors struggle to recover longer ones. 4次元のステアリングベクトルは全て短い文を回復できるが、低い次元のステアリングベクトルは長い文を回復するのに苦労している。 0.70
Steering vector ステアリングベクトル 0.72
dimension Reconstruction BLEU-4 次元 再建 BLEU-4 0.43
192 384 576 192 384 576 0.43
768 43.43 83.29 768 43.43 83.29 0.34
93.93 100.00 93.93 100.00 0.29
Table 4: Reconstruction BLEU for different steering vector dimensions. 表4:異なるステアリングベクトル次元に対する再構成ブリュー。 0.79
Sentence recovery increases monotonically as the dimension increases, up to 100% recovery at the model’s hidden dimension. 文の回復は次元が大きくなるにつれて単調に増加し、モデルの隠れた次元で最大100%回復する。 0.71
Since steering vectors do not depend on sequence length, space complexity may not be a problem. ステアリングベクトルはシーケンス長に依存しないため、空間複雑性は問題にならない。 0.77
For a sequence of length 128, assuming 7 characters per word on average (including spaces), storage as a string takes 128 ∗ 7 = 896 bytes. 平均で1ワードあたり7文字(空間を含む)と仮定する長さ128の列では、文字列としての記憶は128 ∗ 7 = 896バイトである。 0.79
Our 768d steering vector uses 1536 bytes (fp16), but we can compress it by a factor of 2 (384d) sacrificing a little recovery (see Table 4) and store it using 768 bytes, less than its string representation. 768dのステアリングベクトルは1536バイト (fp16) を使用するが、小さなリカバリ(テーブル4参照)を犠牲にして2(384d)で圧縮し、文字列表現よりも少ない768バイトで保存することができる。 0.81
6.4 Memorization Our nearly perfect recoverability performance indicates that steering vectors could either be encoding 6.4 記憶:ほぼ完全な回復性能は、ステアリングベクターがエンコーディング可能であることを示している 0.56
Figure 6: We measure reconstruction BLEU for steering vectors learned for three datasets: books, shuffled, and gibberish. 図6:本,シャッフル,ギブベリの3つのデータセットで学習したステアリングベクトルの再構成BLEUを測定した。 0.66
Reconstruction BLEU for gibberish and shuffled data is lower than books indicating that the steering vector isn’t just memorizing the sequence, but also leveraging the language model well. ジブベリとシャッフルデータの再構成BLEUは、ステアリングベクトルがシーケンスを記憶するだけでなく、言語モデルをうまく活用していることを示す書籍よりも低い。 0.72
important properties by leveraging the language model, which would help generalization, or just simply be memorizing arbitrary sequences without using the underlying language model at all. 言語モデルを活用すれば、一般化に役立つか、あるいは基礎となる言語モデルをまったく使わずに任意のシーケンスを記憶するだけでよい。 0.73
In order to evaluate this, we randomly sample 64 sentences with lengths matching that of the books subset of our dataset, where each token is sampled uniformly at random with replacement from the vocabulary, and call this the gibberish fold of our dataset, following Subramani et al (2019). これを評価するために、データセットの書籍サブセットと一致する長さの64の文をランダムにサンプリングし、各トークンをランダムに、語彙の置き換えとともにランダムにサンプリングし、Subramani et al (2019)に従って、これをデータセットのギブベリ折りと呼ぶ。 0.77
Secondly, to measure whether both content and word order affect recoverability, we construct another fold, the shuffled fold, by randomly shuffling the tokens in the sentences in the books subset. 次に,本部分集合の文中のトークンをランダムにシャッフルすることで,内容と語順の両方が回復性に影響を及ぼすかどうかを計測する。 0.61
Figure 6 shows the results of injecting steering vectors into the 6th layer after the self-attention block in the transformer for all timesteps and the first timestep across all three datasets. 図6は、トランスフォーマーの自己アテンションブロックの後、第6層にステアリングベクターを注入し、3つのデータセットを横断する最初のタイムステップを示す。 0.74
We observe that recoverability is highest for books, then shuffled, and lastly gibberish. 回復性は書籍にとって最も高く、次にシャッフルし、最後にジブベリである。 0.52
The gap between performance on books and gibberish indicates that steering vectors are not simply memorizing. 書籍のパフォーマンスとgibberishのギャップは、ステアリングベクトルが単に記憶に残るものではないことを示している。 0.57
Since recovery on books is greater than recovery on shuffled, we conclude that steering vectors encode some information about word order. 書籍のリカバリはシャッフルのリカバリよりも大きいので,ステアリングベクトルは単語の順序に関する情報をエンコードする。 0.68
Lastly, we notice that only passing the steering vector at the first timestep may reduce unwanted memorization capability because the relative difference in recovery between gibberish and the other sets is large. 最後に,第1段階のステアリングベクトルのみを通過させると,ジブベリッシュと他の集合との相対的な回復差が大きいため,不要な記憶能力が低下する可能性がある。 0.68
英語(論文から抽出)日本語訳スコア
6.5 Connection to Prompting Motivated by the successes of prompt-based methods on zero-shot tasks with large generative language models such as GPT-3 (Brown et al , 2020), we evaluate a prompt-based version of our method. 6.5 GPT-3 (Brown et al , 2020) のような大規模生成言語モデルを用いたゼロショットタスクにおけるプロンプトベース手法の成功により, プロンプトへの接続が促進された。 0.78
Instead of adding zsteer to the hidden states of the language model, we concatenate k steering vectors with the input embeddings, so that all tokens can attend to these zsteer vectors. 言語モデルの隠れた状態にzsteerを追加する代わりに、kステアリングベクトルと入力埋め込みを結合し、すべてのトークンがこれらのzsteerベクトルに対応できるようにします。 0.73
Experiments on the books subset show that recovery is much lower with this prompt-based approach than when injecting steering vectors directly into the transformer stack of the model. 本の部分集合に関する実験では、モデルのトランスフォーマースタックに直接ステアリングベクトルを注入するよりも、このプロンプトベースのアプローチでリカバリがはるかに低いことが示されている。 0.66
Even with k = 50 steering vectors injected via this prompt-based approach, recovery fails to match that of a single steering vector zsteer injected into the hidden states of the language model. k = 50 ステアリングベクトルをこのプロンプトベースのアプローチで注入しても、リカバリは言語モデルの隠れ状態に注入された単一のステアリングベクトル zsteer のものと一致しない。 0.74
Num prompt vectors numプロンプト ベクトル 0.71
Reconstruction BLEU-4 1 再建 BLEU-4 1 0.45
5 10 20 50 5 10 20 50 0.43
81.7 94.3 98.7 81.7 94.3 98.7 0.29
98.6 98.5 Table 5: We measure reconstruction BLEU using a prompt-based approach, where latent steering vectors are concatenated to the embeddings. 98.6 98.5 表5: 遅延ステアリングベクターを埋め込みに連結したプロンプトベースアプローチを用いて再構成BLEUを測定する。 0.42
Even though each prompt vector is 768 dimensional, reconstruction BLEU is much lower in this setting than injecting a single steering vector into the layers of the transformer stack. 各プロンプトベクトルは768次元であるが、この設定では変換器スタックの層に単一のステアリングベクトルを注入するよりも再構成BLEUの方がはるかに低い。 0.75
7 Related Work There exist many works, often using text-based autoencoders that try to induce a sentence representation space for controllable text generation by learning new models (Hu et al , 2017; Shen et al , 2017, 2020; Mai et al , 2020; Montero et al , 2021). 関連7件 多くの場合、テキストベースのオートエンコーダを使用して、新しいモデルを学習することで、制御可能なテキスト生成のための文表現空間を誘導する(hu et al , 2017; shen et al , 2017 2020; mai et al , 2020; montero et al , 2021)。 0.72
Our work concludes that we can extract steering vectors from pretrained models that have latent spaces that allow operations like this, without having to train any new models at all. 我々の研究は、このような操作を可能にする潜在空間を持つ事前訓練されたモデルから、新しいモデルを全く訓練することなくステアリングベクトルを抽出できることを結論付けている。 0.69
Other approaches control language models by adapting their hidden states using steerable layers, adapters, or steering their logits using auxiliary language models (Gulcehre et al , 2015; Dathathri et al , 2019; Houlsby et al , 2019; Zhang et al , 2020; Liu et al , 2021; Krause et al , 2021). 他のアプローチでは、ステアブルレイヤ、アダプタ、またはロジットを補助的な言語モデル(Gulcehre et al , 2015; Dathathri et al , 2019; Houlsby et al , 2019; Zhang et al , 2020; Liu et al , 2021; Krause et al , 2021)を使用して、隠れた状態を調整することで、言語モデルを制御する。 0.83
Our method differs from all of these: we extract steering vectors directly from a language model and operate on the latent space occupied by these vectors, never fine-tuning any component of the model. 我々は、言語モデルから直接ステアリングベクトルを抽出し、これらのベクトルが占有する潜在空間上で動作し、モデルのどの成分も微調整しない。
訳抜け防止モード: 私たちの方法はこれらすべてと異なる 言語モデルから直接ステアリングベクトルを抽出し,これらのベクトルが占有する潜在空間上で動作させる。 構わない - モデルのどのコンポーネントもチューニングする。
0.80
Subramani et al (2019) Subramani et al (2019) 0.43
investigate whether LSTM-based language models have sentence representations from which they can generate the original sentence. LSTMに基づく言語モデルが、原文を生成することができる文表現を持つかどうかを検討する。 0.65
Although this premise relates to our first question: can we extract steering vectors, we extend far beyond that showing that vector arithmetic in the context of unsupervised style transfer is effective in our latent steering space. この前提は、ステアリングベクトルを抽出できるが、教師なしスタイル転送の文脈におけるベクトル算術が我々の潜在ステアリング空間において有効であることを示すものよりもはるかに遠くまで拡張する。 0.78
8 Conclusion In this paper we introduce a different approach to controllable text generation, where we extract latent steering vectors directly from a pretrained language model without fine-tuning. 8 結論 本稿では,制御可能なテキスト生成に対して,事前学習した言語モデルから直接遅延ステアリングベクトルを抽出する手法を提案する。 0.75
Further, we find that our steering vectors lead to near perfect recovery on English sentences from a variety of domains. さらに, ステアリングベクトルは, 様々な領域の英語文に対してほぼ完全な回復をもたらすことがわかった。 0.74
We show that vector arithmetic can be used in the context of unsupervised style transfer on the Yelp sentiment dataset and StylePTB benchmark, performing comparably to models tailored to these tasks. Yelpの感情データセットとStylePTBベンチマークの教師なしスタイル転送の文脈でベクトル算術が利用でき、これらのタスクに合わせたモデルと互換性があることを示す。 0.64
Experiments reveal that distances between steering vectors reflect sentence similarity when evaluated on STS-B, outperforming extractive methods. STS-Bで評価すると, ステアリングベクトル間の距離は文の類似性を反映し, 抽出法は優れていた。 0.63
Finally, we analyze properties of the steering vectors. 最後に, ステアリングベクトルの特性を解析する。 0.77
Our results indicate that we can control frozen pretrained language models effectively through their latent steering space. 以上の結果から,未熟なステアリング空間を通じて,凍結学習した言語モデルを効果的に制御できることが示唆された。
訳抜け防止モード: 私たちの結果は 凍った事前訓練された言語モデルを 効果的に制御できる
0.75
9 Ethics Statement We introduce a new approach for controllable text generation by extracting vectors from a pretrained language model, leveraging information that is already encoded in the language model. 9 倫理的言説 本稿では,事前学習された言語モデルからベクトルを抽出し,既に言語モデルにエンコードされている情報を活用し,制御可能なテキスト生成のための新しい手法を提案する。 0.51
Large pretrained models are known to be biased and our method of extracting steering vectors can reflect biases already present in these large pretrained language models (Bender et al , 2021). 大規模事前学習モデルには偏りがあることが知られており、操舵ベクトルを抽出する方法は、これらの大規模事前学習言語モデル(Bender et al , 2021)にすでに存在する偏りを反映することができる。
訳抜け防止モード: 大きな事前訓練されたモデルは偏りがあることが知られています ステアリングベクトルを抽出する手法は,これらの大規模事前学習言語モデル (bender et al, 2021) にすでに存在するバイアスを反映することができる。
0.62
The methods we present for controllable text generation could potentially be used for many downstream tasks such as unsupervised style transfer, abstractive summarization, and offensive content removal. 制御可能なテキスト生成のための手法は、教師なしスタイル転送、抽象的な要約、攻撃的コンテンツ削除など、多くの下流タスクに利用できる可能性がある。 0.60
Unfortunately, this also means that this technology has the potential to be misused to perpetuate biases or generate offensive or toxic text. 残念なことに、この技術はバイアスを持続したり、攻撃的あるいは有害なテキストを生成するために誤用される可能性がある。 0.58
Our technology does not guarantee removal of toxic content, even in the case of unsupervised style transfer from toxic to nontoxic text. 本技術は, 有毒テキストから無毒テキストへの教師なしスタイル転送の場合においても, 有毒コンテンツの除去を保証しない。 0.61
To use this method, we encourage readers to first take steps to address biases that are already present in the underlying language model. この方法を使用するには、まず、基盤となる言語モデルにすでに存在するバイアスに対処するためのステップを読者に勧める。 0.68
Further we recommend that this technology not be used in high-stakes set- さらに、この技術は高利得セットには使用しないことを推奨します。 0.59
英語(論文から抽出)日本語訳スコア
tings, especially those where deployment of this technology could cause harm. 特にtingsは、この技術の展開が危害をもたらす可能性がある。 0.72
References Sanjeev Arora, Yingyu Liang, and Tengyu Ma. Sanjeev Arora、Yingyu Liang、Tengyu Maなどを参照。 0.74
2017. A simple but tough-to-beat baseline for sentence embeddings. 2017. 文埋め込みのための単純だが強烈なベースライン。 0.47
In ICLR. Emily M. Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. iclrで Emily M. Bender、Timnit Gebru、Angelina McMillanMajor、Shmargaret Shmitchell。 0.53
2021. On the dangers of stochastic parrots: Can language models be too big? 2021. 確率的オウムの危険性について:言語モデルは大きすぎるか? 0.55
. In FAccT. . FAccT所属。 0.52
Samuel R Bowman, Luke Vilnis, Oriol Vinyals, Andrew M Dai, Rafal Jozefowicz, and Samy Bengio. Samuel R Bowman, Luke Vilnis, Oriol Vinyals, Andrew M Dai, Rafal Jozefowicz, Samy Bengio
訳抜け防止モード: samuel r bowman, luke vilnis, oriol vinyals, andrew m dai. ラファル・ヨゼフォヴィチとサミー・ベンジオ。
0.50
2016. Generating sentences from a continuous space. 2016. 連続空間から文を生成する。 0.61
CoNLL 2016. 2016年、CoNLL。 0.65
Tom B. Brown, Benjamin Pickman Mann, Nick Ryder, Melanie Subbiah, Jean Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, G. Krüger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric J Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Tom B. Brown, Benjamin Pickman Mann, Nick Ryder, Melanie Subbiah, Jean Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, G. Krüger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric J Sigler, Mateusz Litwin, Scott Gray, Benjamin Ches, Jack Clark, Christopher Berner, Samandlish, Alec Radford Iask, Sutever, Dario Dei
訳抜け防止モード: Tom B. Brown, Benjamin Pickman Mann, Nick Ryder, Melanie Subbiah, Jean Kaplan Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry Amanda Askell, Sandhini Agarwal, Ariel HerbertVoss, G. Krüger, Tom Henighan, Rewon Child Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse Mark Chen, Eric J Sigler, Mateusz Litwin, Scott Gray ベンジャミン・チェス(Benjamin Chess)、ジャック・クラーク(Jack Clark)、クリストファー・バーナー(Christopher Berner)、サム・マカンドリッシュ(Sam McCandlish)。 Alec Radford、Ilya Sutskever、Dario Amodei。
0.93
2020. Language models are few-shot learners. 2020. 言語モデルはわずかな学習者です。 0.56
arXiv preprint arXiv:2005.14165. arXiv preprint arXiv:2005.14165。 0.64
Isaac Caswell, アイザック・キャズウェル。 0.50
Julia Kreutzer, Lisa Wang, Ahsan Wahab, Daan van Esch, Nasanbayar UlziiOrshikh, Allahsera Auguste Tapo, Nishant Subramani, Artem Sokolov, Claytone Sikasote, Monang Setyawan, Supheakmungkol Sarin, Sokhar Samb, Benoît Sagot, Clara Rivera, Annette Rios Gonzales, Isabel Papadimitriou, Salomey Osei, Pedro Ortiz Suarez, Iroro Orife, Kelechi Ogueji, Rubungo Andre Niyongabo, Toan Q. Nguyen, Mathias Muller, Andr’e Muller, Shamsuddeen Hassan Muhammad, Nanda Firdausi Muhammad, Ayanda Mnyakeni, Jamshidbek Mirzakhalov, Tapiwanashe Matangira, Colin Leong, Nze Lawson, Sneha Kudugunta, Yacine Jernite, M. Jenny, Orhan Firat, Bonaventure F. P. Dossou, Sakhile Dlamini, Nisansa de Silva, Sakine cCabuk Balli, Stella Rose Biderman, Alessia Battisti, Ahmed Baruwa, Ankur Bapna, Pallavi N. Baljekar, Israel Abebe Azime, Ayodele Awokoya, Duygu Ataman, Orevaoghene Ahia, Oghenefego Ahia, Sweta Agrawal, and Mofetoluwa Adeyemi. Julia Kreutzer, Lisa Wang, Ahsan Wahab, Daan van Esch, Nasanbayar UlziiOrshikh, Allahsera Auguste Tapo, Nishant Subramani, Artem Sokolov, Claytone Sikasote, Monang Setyawan, Supheakmungkol Sarin, Sokhar Samb, Benoît Sagot, Clara Rivera, Annette Rios Gonzales, Isabel Papadimitriou, Salomey Osei, Pedro Ortiz Suarez, Iroro Orife, Kelechi Ogueji, Rubungo Andre Niyongabo, Toan Q. Nguyen, Mathias Muller, Andr’e Muller, Shamsuddeen Hassan Muhammad, Nanda Firdausi Muhammad, Ayanda Mnyakeni, Jamshidbek Mirzakhalov, Tapiwanashe Matangira, Colin Leong, Nze Lawson, Sneha Kudugunta, Yacine Jernite, M. Jenny, Orhan Firat, Bonaventure F. P. Dossou, Sakhile Dlamini, Nisansa de Silva, Sakine cCabuk Balli, Stella Rose Biderman, Alessia Battisti, Ahmed Baruwa, Ankur Bapna, Pallavi N. Baljekar, Israel Abebe Azime, Ayodele Awokoya, Duygu Ataman, Orevaoghene Ahia, Oghenefego Ahia, Sweta Agrawal, and Mofetoluwa Adeyemi. 0.44
2022. Quality at a glance: An audit of web-crawled multilingual datasets. 2022. 一見のクオリティ: webクローリングされた多言語データセットの監査。 0.59
TACL. Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. TACL。 Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, Lucia Specia 0.57
2017. SemEval-2017 task 1: Semantic textual similarity multilingual and In Proceedings crosslingual focused evaluation. 2017. SemEval-2017 Task 1: Semantic textual similarity multilingual and In Proceedings crosslingual focus evaluation。 0.43
of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pages 1–14, Vancouver, Canada. 第11回セマンティック・アセスメント国際ワークショップ(SemEval-2017)の1-14頁、カナダのバンクーバー。 0.68
Association for Computational Linguistics. Boxing Chen and Colin Cherry. 計算言語学会会員。 ボクシングチェンとコリン・チェリー。 0.61
2014. A systematic comparison of smoothing techniques for sentenceIn Proceedings of the Ninth Workshop level bleu. 2014. 第9回ワークショップレベルbleu文節手続きにおける平滑化手法の体系的比較 0.54
on Statistical Machine Translation. 統計機械翻訳について 0.73
Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, and Antoine Bordes. アレクシス・コノー、ドウウェ・キエラ、ホルガー・シュヴェンク、ロエック・バロー、アントワーヌ・ボルデス。 0.39
2017. Supervised learning of universal sentence representations from natural language inference data. 2017. 自然言語推論データを用いた普遍文表現の教師付き学習 0.58
In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 670–680, Copenhagen, Denmark. 2017年の自然言語処理における経験的手法に関する会議では、デンマーク、コペンハーゲンの670-680ページが紹介された。
訳抜け防止モード: 自然言語処理における経験的手法に関する2017年会議のまとめ 670-680頁、デンマークのコペンハーゲン。
0.80
Association for Computational Linguistics. Cristian Danescu-Niculescu-Mi zil and Lillian Lee. 計算言語学会会員。 クリスティアン・ダネスク=ニクレスク=ミジルとリリアン・リー。 0.42
2011. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. 2011. chameleons in imagined conversations: 対話における言語スタイルのコーディネーションを理解するための新しいアプローチ。 0.62
In CMCL@ACL. Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. CMCL@ACL。 Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, Rosanne Liu 0.50
2019. Plug and play language models: A simple approach to controlled text generation. 2019. plug and play言語モデル: 制御されたテキスト生成へのシンプルなアプローチ。 0.63
In ICLR. Yuntian Deng, Anton Bakhtin, Myle Ott, and Arthur D. Szlam. iclrで yuntian deng、anton bakhtin、myle ott、arthur d. szlam。 0.40
2020. Residual energy-based models for text generation. 2020. テキスト生成のための残エネルギーモデル 0.62
In ICLR. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. iclrで Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova 0.34
2018. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. Bert: 言語理解のための双方向トランスフォーマーの事前トレーニング。 0.61
CoRR. Kawin Ethayarajh. CoRR。 Kawin Ethayarajh 0.34
2018. Unsupervised random walk sentence embeddings: A strong but simple baseline. 2018. 教師なしランダムウォーク文埋め込み:強いが単純なベースライン。 0.50
In Proceedings of The Third Workshop on Representation Learning for NLP, pages 91–100, Melbourne, Australia. 第3回nlp表現学習ワークショップの議事録では、オーストラリアのメルボルンで開催された91-100ページが紹介されている。
訳抜け防止モード: 第3回nlp表現学習ワークショップの開催にあたって 91-100頁、メルボルン、オーストラリア。
0.66
Association for Computational Linguistics. Kawin Ethayarajh. 計算言語学会会員。 Kawin Ethayarajh 0.40
2019. How contextual are contextualized word representations? 2019. 文脈化された単語表現はどの程度文脈的か? 0.43
Comparing the geometry of BERT, ELMo, and GPT-2 embeddings. bert、elmo、gpt-2の埋め込みの幾何を比較する。 0.45
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 55–65, Hong Kong, China. 第9回自然言語処理国際共同会議(emnlp-ijcnlp)は、2019年の自然言語処理における経験的手法に関する会議である。
訳抜け防止モード: 自然言語処理における経験的手法に関する2019年会議のまとめ 第9回国際自然言語処理国際会議(EMNLP - IJCNLP)に参加して 55-65頁、香港、中国。
0.78
Association for Computational Linguistics. David Graff, Junbo Kong, Ke Chen, and Kazuaki Maeda. 計算言語学会会員。 David Graff, Junbo Kong, Ke Chen, そしてMaeda Kazuaki。 0.65
2003. English gigaword. 2003. 英語のギガワード。 0.52
Linguistic Data Consortium, Philadelphia. フィラデルフィアの言語データコンソーシアム。 0.65
Jiatao Gu, Kyunghyun Cho, and Victor O.K. Li. Jiatao Gu,kyunghyun Cho,Victor O.K. Li 0.37
2017. Trainable greedy decoding for neural machine transIn Proceedings of the 2017 Conference on lation. 2017. ニューラルネットワークTransIn Proceedings of the 2017 Conference on lationのトレーニング可能なgreedyデコーディング 0.56
Empirical Methods in Natural Language Processing, pages 1968–1978, Copenhagen, Denmark. 自然言語処理における経験的手法 1968-1978年、デンマーク、コペンハーゲン 0.76
Association for Computational Linguistics. Caglar Gulcehre, Orhan Firat, Kelvin Xu, Kyunghyun Cho, Loic Barrault, Huei-Chi Lin, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. 計算言語学会会員。 Caglar Gulcehre, Orhan Firat, Kelvin Xu,kyunghyun Cho, Loic Barrault, Huei-Chi Lin, Fethi Bougares, Holger Schwenk, Yoshua Bengio
訳抜け防止モード: 計算言語学会会員。 Caglar Gulcehre, Orhan Firat, Kelvin Xu,kyunghyun Cho Loic Barrault, Huei - Chi Lin, Fethi Bougares, Holger Schwenk ヨシュア・ベンジオ(Yoshua Bengio)。
0.70
2015. On using monolingual corpora in neural machine translation. 2015. ニューラルマシン翻訳における単言語コーパスの使用について 0.50
arXiv preprint arXiv:1503.03535. arXiv preprint arXiv:1503.03535 0.36
英語(論文から抽出)日本語訳スコア
Junxian He, Xinyi Wang, Graham Neubig, and Taylor Berg-Kirkpatrick. Junxian He、Xinyi Wang、Graham Neubig、Taylor Berg-Kirkpatrick。 0.38
2020. A probabilistic formulation of unsupervised text style transfer. 2020. 教師なしテキストスタイル転送の確率的定式化 0.54
In ICLR. Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. iclrで Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, Sylvain Gelly 0.33
2019. Parameter-efficient transfer learning for nlp. 2019. nlpのパラメータ効率変換学習 0.56
In ICML. Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P. Xing. ICML。 Zhiting Hu、Zichao Yang、Xiaodan Liang、Ruslan Salakhutdinov、Eric P. Xing。 0.31
2017. Toward controlled generation of text. 2017. テキスト生成制御に向けて 0.56
In ICML. Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. ICML。 ジジン、ジジジン、ジティン・フ、オルガ・ヴェクトモワ、ラダ・ミハルチャ。 0.33
2020. Deep learning for text style transfer: A survey. 2020. テキストスタイル転送のためのディープラーニング:調査。 0.56
ArXiv, abs/2011.00416. arxiv、abs/2011.00416。 0.51
Yoon Kim. 2021. キム・ユン 2021. 0.46
Sequence-to-sequence learning with シーケンスからシーケンスへの学習 0.55
latent neural grammars. ArXiv, abs/2109.01135. 潜在性神経文法。 ArXiv, abs/2109.01135。 0.46
Yiwei Lyu, Paul Pu Liang, Hai Pham, Eduard Hovy, Barnabás Póczos, Ruslan Salakhutdinov, and LouisPhilippe Morency. Yiwei Lyu, Paul Pu Liang, Hai Pham, Eduard Hovy, Barnabás Póczos, Ruslan Salakhutdinov, LouisPhilippe Morency 0.36
2021. StylePTB: A compositional benchmark for fine-grained controllable text In Proceedings of the 2021 Conferstyle transfer. 2021. styleptb: 2021年のconferstyle転送の手続きにおけるきめ細かな制御可能なテキストの合成ベンチマーク。 0.54
ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 2116–2138, Online. the association for computational linguistics: human language technologies, pages 2116-2138, online. 英語) 0.57
Association for Computational Linguistics. L. V. D. Maaten and Geoffrey E. Hinton. 計算言語学会会員。 L・V・D・メイテンとジェフリー・E・ヒントン。 0.44
2008. Visual- izing data using t-sne. 2008. 視覚 t-sneを用いたデータ化。 0.53
JMLR. Florian Mai, Nikolaos Pappas, Ivan Montero, Noah A. Smith, and James Henderson. jmlr。 フローリアン・マイ、ニコラオス・パパス、イヴァン・モンテロ、ノア・A・スミス、ジェームズ・ヘンダーソン。 0.39
2020. Plug and play autoencoders for conditional text generation. 2020. 条件付きテキスト生成のためのプラグイン・アンド・プレイオートエンコーダ。 0.52
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6076–6092, Online. 自然言語処理における経験的手法に関する2020年会議(emnlp)の議事録では、6076-6092ページがオンラインで公開されている。
訳抜け防止モード: 自然言語処理における経験的手法に関する2020年会議(EMNLP)の開催報告 6076-6092頁。
0.68
Association for Computational Linguistics. Diederik P Kingma and Jimmy Ba. 計算言語学会会員。 ディーデリック・P・キングマとジミー・バ。 0.46
2014. Adam: A method for stochastic optimization. 2014. Adam: 確率最適化の方法です。 0.56
arXiv preprint arXiv:1412.6980. arXiv preprint arXiv:1412.6980 0.36
Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. スティーブン・メリット(stephen merity)、ケイム・クオン(caiming xiong)、ジェームズ・ブラッドベリー(james bradbury)、リチャード・ソッチャー(richard socher)。 0.36
2017. Pointer sentinel mixture models. 2017. ポインターセンチネル混合モデル。 0.49
ArXiv, abs/1609.07843. ArXiv, abs/1609.07843。 0.30
Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher, and Nazneen Fatema Rajani. Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher, Nazneen Fatema Rajani 0.37
2021. GeDi: Generative discriminator guided sequence generaIn Findings of the Association for Computation. 2021. GeDi: ジェネレーティブ・ディミネーター誘導配列遺伝子In Findings of the Association for Computation。 0.53
tional Linguistics: EMNLP 2021, pages 4929–4952, Punta Cana, Dominican Republic. 言語学:EMNLP 2021, page 4929–4952, Punta Cana, Dominican Republic 0.41
Association for Computational Linguistics. Guillaume 計算言語学会会員。 ギヨーム 0.45
Lample, Ludovic ランプ ルドヴィック 0.39
Eric Michael Smith, Marc’Aurelio Ranzato, 2019. eric michael smith氏、marc’aurelio ranzato氏、2019年。 0.70
Multiple-attribute text rewriting. 複数属性のテキスト書き換え。 0.60
In ICLR. Subramanian, Denoyer, and Y-Lan Boureau. iclrで Subramanian、Denoyer、Y-Lan Boureau。 0.33
Sandeep Marie Lebert. サンディープ マリー・レバート 0.48
2008. Project gutenberg (1971-2008). 2008. プロジェクト・グーテンベルク(1971-2008)。 0.54
Brian Lester, Rami Al-Rfou, and Noah Constant. ブライアン・レスター、ラミ・アル=ルフー、ノア・コンスタン。 0.40
2021. The power of scale for parameter-efficient prompt tuning. 2021. パラメータ効率の良いプロンプトチューニングのためのスケールのパワー。 0.58
In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 3045–3059, Online and Punta Cana, Dominican Republic. 自然言語処理における経験的手法に関する2021年の会議では、ドミニカ共和国のオンラインとパンタカナで3045-3059ページが議論された。
訳抜け防止モード: 自然言語処理における経験的手法に関する2021年会議のまとめ 公式ウェブサイト 3045–3059 , Online and Punta Cana , Dominican Republic
0.84
Association for Computational Linguistics. Yongjie Lin, Yi Chern Tan, and Robert Frank. 計算言語学会会員。 ヨンジー・リン、イ・チャーン・タン、ロバート・フランク。 0.43
2019. Open sesame: Getting inside BERT’s linguistic knowledge. 2019. Open sesame: BERTの言語知識の中に入ること。 0.65
In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 241–253, Florence, Italy. 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, page 241–253, イタリアのフィレンツェ。
訳抜け防止モード: 2019 ACL Workshop BlackboxNLPに参加して NLPのためのニューラルネットワークの解析と解釈 241–253頁、イタリア、フィレンツェ。
0.79
Association for Computational Linguistics. Alisa Liu, Maarten Sap, Ximing Lu, Swabha Swayamdipta, Chandra Bhagavatula, Noah A. Smith, and Yejin Choi. 計算言語学会会員。 Alisa Liu, Maarten Sap, Ximing Lu, Swabha Swayamdipta, Chandra Bhagavatula, Noah A. Smith, Yejin Choi
訳抜け防止モード: 計算言語学会会員。 Alisa Liu, Maarten Sap, Ximing Lu, Swabha Swayamdipta チャンドラ・バガヴァトゥラ(Chandra Bhagavatula)、ノア・A・スミス(Noah A. Smith)、イェジン・チョイ(Yejin Choi)。
0.56
2021. DExperts: Decodingtime controlled text generation with experts and antiIn Proceedings of the 59th Annual Meetexperts. 2021. DExperts: 59th Annual MeetexpertsのエキスパートとアンチIn Proceedingsによるデコードタイム制御テキスト生成。 0.64
ing of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 6691–6706, Online. The Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), page 6691–6706, Online. (英語)
訳抜け防止モード: 計算言語学会と第11回国際自然言語処理合同会議(第1巻 : 長文論文) 6691-6706頁、オンライン。
0.65
Association for Computational Linguistics. Ivan Montero, Nikolaos Pappas, and Noah A. Smith. 計算言語学会会員。 イヴァン・モンテロ、ニコラオス・パパス、ノア・A・スミス。 0.47
2021. Sentence bottleneck autoencoders from transformer language models. 2021. トランスフォーマー言語モデルからの文ボトルネックオートエンコーダ 0.54
In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 1822–1831, Online and Punta Cana, Dominican Republic. 自然言語処理における経験的手法に関する2021年の会議では、ドミニカ共和国のオンラインとパンタカナで1822-1831ページが議論された。
訳抜け防止モード: 自然言語処理における経験的手法に関する2021年会議のまとめ 1822–1831ページ, Online and Punta Cana , Dominican Republic を参照。
0.87
Association for Computational Linguistics. Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. 計算言語学会会員。 Kishore Papineni、Salim Roukos、Todd Ward、WeiJing Zhu。 0.41
2002. Bleu: a method for automatic evaluation of machine translation. 2002. bleu: 機械翻訳の自動評価方法。 0.52
In ACL. Jeffrey Pennington, Richard Socher, and Christopher Manning. aclで ジェフリー・ペニントン、リチャード・ソッチャー、クリストファー・マニング。 0.53
2014. GloVe: Global vectors for word representation. 2014. GloVe: ワード表現のためのグローバルベクトル。 0.61
In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1532–1543, Doha, Qatar. 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) において、1532–1543頁、Doha, Qatar。 0.77
Association for Computational Linguistics. Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke S. Zettlemoyer. 計算言語学会会員。 マシュー・e・ピーターズ、マーク・ノイマン、モヒト・アイイヤー、マット・ガードナー、クリストファー・クラーク、ケントン・リー、ルーク・s・ゼトルモイヤー。 0.56
2018. Deep contextualized word representations. 2018. 文脈化された単語表現。 0.48
In NAACL-HLT. NAACL-HLT所属。 0.58
Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. アレク・ラドフォード、カルティク・ナラシモン、ティム・サリマンズ、イリヤ・サツバー。 0.47
2018. Improving language understanding by generative pre-training. 2018. 生成事前学習による言語理解の改善 0.60
Unpublished ms. available through a link at https://blog . https://blog のリンクから入手可能だ。 0.58
openai.com/language- unsupervised/. openai.com/language- unsupervised/ 0.19
Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. アレク・ラドフォード、ジェフ・ウー、レウォン・チャイルド、デイヴィッド・ルーアン、ダリオ・アモデイ、イリヤ・サツバー。 0.50
2019. Language models are unsupervised multitask learners. 2019. 言語モデルは教師なしマルチタスク学習者である。 0.51
Nils Reimers and Iryna Gurevych. Nils ReimersとIryna Gurevych。 0.81
2019. SentenceBERT: Sentence embeddings using Siamese BERTnetworks. 2019. SentenceBERT: Siamese BERTnetworksを使用した文の埋め込み。 0.57
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3982–3992, Hong Kong, China. 第9回国際自然言語処理会議(EMNLP-IJCNLP)と第9回国際自然言語処理会議(EMNLP-IJCNLP)において、3982-3992頁、香港、中国。 0.74
Association for Computational Linguistics. 計算言語学会会員。 0.52
英語(論文から抽出)日本語訳スコア
Anna Rogers, Olga Kovaleva, and Anna Rumshisky. アンナ・ロジャース、オルガ・コヴァレヴァ、アンナ・ラムスキー。 0.59
2020. A primer in BERTology: What we know about how BERT works. 2020. BERTologyのプライマー:BERTの動作について私たちが知っていること。 0.54
Transactions of the Association for Computational Linguistics, 8:842–866. association for computational linguistics, 8:842–866を参照。 0.75
Alexis Ross, Tongshuang (Sherry) Wu, Hao Peng, Matthew E. Peters, and Matt Gardner. Alexis Ross, Tongshuang (Sherry) Wu, Hao Peng, Matthew E. Peters, Matt Gardner 0.38
2021. Tailor: Generating and perturbing text with semantic controls. 2021. Tailor: セマンティックコントロールによるテキストの生成と摂動。 0.62
ArXiv, abs/2107.07150. ArXiv, abs/2107.07150。 0.30
Tianxiao Shen, Tao Lei, Regina Barzilay, テンシアオ・シェン、タオ・レイ、レジーナ・バルジレイ 0.44
and T. Jaakkola. そして、T.Jaakkola。 0.72
2017. Style transfer from non-parallel text by cross-alignment. 2017. 非並列テキストからのクロスリグメンテーションによるスタイル転送 0.61
In NIPS. Tianxiao Shen, Jonas Mueller, Regina Barzilay, and T. Jaakkola. ニップスで Tianxiao Shen、Jonas Mueller、Regina Barzilay、T. Jaakkola。 0.38
2020. Educating text autoencoders: Latent representation guidance via denoising. 2020. テキストオートエンコーダの教育: denoisingによる潜在表現指導。 0.56
In ICML. Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. ICML。 テイラー・シン、ヤサマン・ラゼギ、ロバート・l・ローガン4世、エリック・ウォレス、サマー・シン。 0.40
2020. AutoPrompt: Eliciting Knowledge from Language Models with In ProceedAutomatically Generated Prompts. 2020. AutoPrompt: In Proceed Automatically Generated Promptによる言語モデルからの知識の排除。 0.64
ings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4222–4235, Online. ings of the 2020 conference on empirical methods in natural language processing (emnlp), pages 4222–4235, online (英語)
訳抜け防止モード: 自然言語処理における経験的手法に関する2020年会議(EMNLP)に参加して 4222-4235頁。
0.74
Association for Computational Linguistics. Nishant Subramani, Samuel Bowman, and Kyunghyun Cho. 計算言語学会会員。 Nishant Subramani、Samuel Bowman、Yunghyun Cho。 0.42
2019. Can unconditional language models recover arbitrary sentences? 2019. 無条件言語モデルは任意の文を回復できるか? 0.52
In NeurIPS. NeurIPSに登場。 0.80
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Sukasz Kaiser、Illia Polosukhin。
訳抜け防止モード: ashish vaswani, noam shazeer, niki parmar, jakob uszkoreit, リオン・ジョーンズ、エイダン・ン・ゴメス、ウカシュ・カイザー、イリア・ポロスクヒン。
0.40
2017. Attention is all you need. 2017. 注意はあなたが必要とするすべてです。 0.53
In NeurIPS. NeurIPSに登場。 0.80
Pascal Vincent, H. Larochelle, Yoshua Bengio, and Pierre-Antoine Manzagol. Pascal Vincent、H. Larochelle、Yoshua Bengio、Pierre-Antoine Manzagol。 0.43
2008. Extracting and composing robust features with denoising autoencoders. 2008. 自動エンコーダによる堅牢な機能の抽出と構成。 0.50
In ICML. Lilian Weng. ICML。 リリアン・ウェン 0.33
2021. Controllable neural text generation. 2021. 制御可能なニューラルテキスト生成 0.61
lilianweng.github.io /lil-log. lilianweng.github.io /lil-log 0.17
Jeffrey O. Zhang, Alexander Sax, Amir Roshan Zamir, Leonidas J. Guibas, and Jitendra Malik. Jeffrey O. Zhang, Alexander Sax, Amir Roshan Zamir, Leonidas J. Guibas, Jitendra Malik 0.40
2020. Sidetuning: A baseline for network adaptation via additive side networks. 2020. sidetuning: 付加的なサイドネットワークによるネットワーク適応のためのベースライン。 0.60
In ECCV. Xiang Zhang, Junbo Zhao, and Yann LeCun. ECCV。 Xiang Zhang、Junbo Zhao、Yann LeCun。 0.45
2015. Character-level convolutional networks for text classification. 2015. テキスト分類のための文字レベル畳み込みネットワーク 0.61
NIPS. ニップス 0.44
英語(論文から抽出)日本語訳スコア
A Appendix appendix (複数形 appendixs) 0.35
A.1 Extracting steering vectors In this section, we show the hyperparameter configurations used for extracting steering vectors from GPT2-117M. A.1 本稿では,gpt2-117mからステアリングベクトルを抽出するためのハイパーパラメータ構成について述べる。 0.51
Table 6 contains the list of final hyperparameters that we use to extract steering vectors for the different analyses in this paper. 表6には、異なる解析のためのステアリングベクトルを抽出するために使用する最終ハイパーパラメータのリストが含まれている。 0.73
Table 7 shows the recovery performance of steering vectors when injected at different layers in the transformer stack on our compiled dataset. 表7は、コンパイルされたデータセット上の変換器スタックの異なる層に注入されたときのステアリングベクトルの回復性能を示す。
訳抜け防止モード: テーブル7はステアリングベクトルの回復性能を示す コンパイルされたデータセットの トランスフォーマースタックの異なる層に注入された
0.83
These experiments reveal that injecting in the middle of the transformer stack either after the self attention layer or the feedforward layer leads to the highest BLEU4 performance. これらの実験により、自己注意層またはフィードフォワード層の後にトランスフォーマースタックの中央に注入すると、最も高いbleu4性能が得られることが明らかとなった。
訳抜け防止モード: これらの実験は 自己注意層またはフィードフォワード層のいずれかの後に変圧器スタックの中央に注入する bleu4のパフォーマンスが最も高い。
0.76
In fact, any layer other than the first or last layer achieves nearly perfect recovery. 実際、第1層または第2層以外のどの層もほぼ完全に回復する。 0.74
In Table 8 we look at recovery performance when injecting steering vectors at the embedding layer, transformer stack, and language modeling head, as well as different combinations of them. 表8では、埋め込み層、トランスフォーマースタック、言語モデリングヘッドにステアリングベクトルを注入する際のリカバリ性能と、それらの異なる組み合わせについて検討する。 0.62
Injecting steering vectors at every layer in the transformer stack performed best. 変圧器スタックの各層にステアリングベクターを注入することが最善である。 0.76
Table 9 shows how recoverability changes with respect to how many timesteps zsteer is injected at. テーブル9は、zsteerの注入時間に関して、回復性がどのように変化するかを示しています。
訳抜け防止モード: テーブル9はどのように 回復性はzsteerの注入回数によって変化します
0.75
Injecting at all timesteps performs negligibly better than injecting at just the first timestep. あらゆるタイムステップの注入は、第1のタイムステップで注入するよりも無視できるほど良い。 0.45
Hyperparameters Values ハイパーパラメータ 価値 0.66
Model Max train steps モデル 最高列車の階段 0.71
Vector initialization strategy ベクトル初期化 戦略 0.80
Learning rate Optimizer GPT-2-117M 学習率 最適化 GPT-2-117M 0.51
500 Xavier normal 500 ザビエル・ノーマル 0.41
[0.01, 1.0] [0.01, 1.0] 0.35
Adam Learning rate Scheduler Scheduler decay factor Scheduler アダム 学習率 スケジューラ崩壊要因スケジューラ 0.62
decay patience decay + patience 0.38
Decay on a plateau 0.9 高原での崩壊 0.9 0.45
1.0 Table 6: List of hyperparameter configurations used to extract zsteer from GPT2-117M. 1.0 表6: GPT2-117Mからzsteerを抽出するために使用されるハイパーパラメータ構成のリスト。 0.45
A.2 Unsupervised Sentiment Transfer Yelp Sentiment We also include generations from the unsupervised sentiment transfer experiment on the Yelp dataset. A.2 Unsupervised Sentiment Transfer Yelp Sentiment Yelpデータセットの教師なし感情伝達実験の世代も含んでいます。 0.54
Table 12 shows 8 more generations. 表12はさらに8世代ある。 0.78
These generations highlight the same trends as before: with increasing λ, sentiment transfer strength increases. これらの世代は以前と同じ傾向を示す:λが増加すると、感情伝達強度が増加する。 0.71
We find that some genera- 我々はいくつかの属を発見した。 0.37
Injection location self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward inject location self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward self_attn feedforward 0.34
layers timestep lr BLEU-4 層 時代 lr BLEU-4 0.38
0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10 11 11 0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10 11 11 0.42
all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps 0.33
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0.42
33.25 97.68 98.06 99.54 100.00 99.69 100.00 100.00 100.00 100.00 100.00 100.00 100.00 99.62 99.62 100.00 100.00 98.84 99.22 98.61 97.50 95.24 86.04 6.29 33.25 97.68 98.06 99.54 100.00 99.69 100.00 100.00 100.00 100.00 100.00 100.00 100.00 99.62 99.62 100.00 100.00 98.84 99.22 98.61 97.50 95.24 86.04 6.29 0.20
Table 7: This table shows the reconstruction BLEU-4 for steering vectors from our compiled dataset when injected after different self attention and feedforward layers in the transformer stack. 表7: この表は、トランスフォーマースタック内の異なる自己注意とフィードフォワード層に注入された際に、コンパイルされたデータセットからベクターをステアリングするための再構築BLEU-4を示す。 0.64
Injecting at the middle layer of the language model performs best. 言語モデルの中間層に注入すると、最もよく機能します。 0.70
tions do more than just flip the sentiment of the major adjective in the sentence such as adding the phrase "a great way to get a good laugh" in the 4th negative to positive generation when λ = 2.5. 文中の主形容詞の感情をひっくり返すだけでなく、λ = 2.5 のとき λ = 2.5 のとき、正の世代に対して 4 番目の「良い笑いを得るための素晴らしい方法」というフレーズを追加する。 0.71
StylePTB For this study, we use 19 of 21 paired style transfer tasks from the StylePTB dataset (Lyu et al , 2021), but modify the tasks to be unsupervised, following the same approach as sentiment transfer. StylePTB この研究では、StylePTBデータセット(Lyu et al , 2021)から得られる21のペア化されたスタイル転送タスクのうち19が使用されるが、感情伝達と同じアプローチで、教師なしのタスクを変更する。 0.71
We randomly sample 100 sentences for each class from the training split for each of the style classes and use those to compute offset vectors. トレーニング分割から各クラスの100文をランダムにサンプリングし,これらを用いてオフセットベクトルを計算した。 0.66
This offset vector is then added to the steering vector of the sentence to transfer style. その後、このオフセットベクトルが文のステアリングベクトルに追加され、転送形式となる。 0.74
We follow the evaluation in Lyu et al (2021) because we have ground truth data and compare with fully 我々は、Lyu et al (2021) の評価に従う。
訳抜け防止モード: 我々はLyu et al (2021) の評価に従う。 根拠となる真実のデータと 完全に比較して
0.86
英語(論文から抽出)日本語訳スコア
Injection location embedding every_layer lm_head embedding+every_layer every_layer+lm_head embedding+lm_head embedding+every_layer+lm_head every_layer_self_att n every_layer+every_layer_self_att n every_layer_self_att n+embedding+lm_head every_layer_self_att n+lm_head every_layer_self_att n+embedding every_layer lm_head Embedding+every_head Embedding+lm_head Embedding+every_layer+lm_head every_layer_self_att n every_layer+every_layer_self_att n every_layer_self_att n+embedding+lm_head every_layer_self_att n+lm_head every_layer_self_att n+embedding 0.11
timestep all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps 時代 all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps all timesteps 0.45
lr 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 lr 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.22
BLEU-4 33.99 100.00 6.72 96.52 100.00 83.27 98.11 99.62 100.00 97.31 99.62 94.28 BLEU-4 33.99 100.00 6.72 96.52 100.00 83.27 98.11 99.62 100.00 97.31 99.62 94.28 0.25
Table 8: Here, we present the reconstruction BLEU-4 results for steering vectors on our multi-domain compiled dataset. 表8: マルチドメインコンパイルデータセット上でのステアリングベクトルに対するBLEU-4の再構成結果を示す。 0.64
We vary injection location here and observe that injecting into the transformer stack is necessary for good recovery. ここではインジェクション位置が異なり、良好なリカバリにはトランスフォーマースタックへのインジェクションが必要であることを観察する。 0.63
Injecting at the embedding or language model head performs poorly. 埋め込みや言語モデルヘッドへの注入はうまくいかない。 0.72
Injection location every_layer+every_layer_self_att n every_layer+every_layer_self_att n Layer 7 (feedforward) Layer 7 (feedforward) Layer 6 (self_attn) Layer 6 (self_attn) 注入位置 every_layer+every_layer_self_att n every_layer+every_layer_self_att n Layer 7 (feedforward) Layer 7 (feedforward) Layer 6 (self_attn) Layer 6 (self_attn) 0.29
timestep all timesteps first timestep all timesteps first timestep all timesteps first timestep 時代 all timesteps first timesteps first timesteps first timesteps first timesteps first timesteps first timesteps 0.42
lr 0.01 0.01 lr 0.01 0.01 0.29
1 1 1 1 BLEU-4 1 1 1 1 BLEU-4 0.36
100.0 91.7 100.0 99.2 100.0 99.8 100.0 91.7 100.0 99.2 100.0 99.8 0.22
Table 9: In this table, we vary the timestep where we inject zsteer (all timesteps or first timestep) for three of our best injection locations. 表9: このテーブルでは、3つの最適な注入場所に対してzsteer(すべての時間ステップまたは最初の時間ステップ)を注入する時間ステップを変えます。 0.74
We again evaluate on our multi-domain compiled dataset and find that injecting at just the first timestep has a negligible decrease in recovery performance. 我々は、再びマルチドメインコンパイルデータセットを評価し、第1段階のインジェクションは、リカバリ性能が無視できないことを発見した。 0.57
supervised methods. Experiments show that unsupervised vector arithmetic with steering vectors performs comparably using BLEU-1 to supervised methods designed for style transfer on tasks that require minimal edits (adjective emphasis (AEM), active to passive (ATP), information addition (IAD), and PP front to back (PFB)). 監督方法。 実験により、最小限の編集(AEM)、アクティブ・トゥ・パッシブ(ATP)、情報付加(IAD)、PPフロント・トゥ・バック(PFB)を必要とするタスクのスタイル転送用に設計されたBLEU-1を用いて、制御ベクトルによる教師なしベクトル演算が比較可能であった。 0.52
We report BLEU-1 following prior work. BLEU-1を先行研究により報告した。 0.52
See Table 10 for results on all 19 tasks. 全19タスクの結果はテーブル10を参照してください。 0.72
Note Lyu et al (2021) do not report any baseline numbers for AAR, ASR, LFS, MFS, NAR, NSR, and VSR for any of their models. Lyu et al (2021) は AAR, ASR, LFS, MFS, NAR, NSR, VSR のベースライン番号を報告していない。
訳抜け防止モード: Lyu et al (2021 ) は AAR のベースライン番号を報告していない。 ASR, LFS, MFS, NAR, NSR, VSRの各モデル。
0.70
A.3 Sampling In order to evaluate whether we can sample steering vectors reliably, we collect 4,000 extracted steering vectors from the Yelp Sentiment test set. A.3 サンプリング ステアリングベクトルを確実にサンプリングできるかどうかを評価するため,Yelp Sentimentテストセットから4000個のステアリングベクトルを抽出した。 0.70
To generate, we consider each dimension of the steering vector as an independent random variable that is normally distributed. 生成するために、ステアリングベクトルの各次元を、通常分布する独立した確率変数として考える。 0.77
The dimension means and variances are equal to the mean and variance for that dimension across this set of steering vectors. 次元は意味と 分散は、このステアリングベクトルの集合におけるその次元の平均と分散に等しい。 0.67
In Table 11, we show the results of sampling 24 steering vectors from these independent normally distributed random variables and generating from them using GPT2-117M as our language model. 表11では、独立正規分布確率変数から24個のステアリングベクトルをサンプリングし、gpt2-117mを言語モデルとして生成した結果を示す。 0.78
These results are mixed with approximately 20% of the generations leading to fully formed sentences and the remaining 80% corresponding to individual words or short phrases. これらの結果は、全文の約20%と、個々の単語や短いフレーズに対応する残りの80%とが混ざり合っている。 0.70
This could perhaps be partially explained by the fact that text from the web, including the corpora GPT2 was trained on, can often be of poor quality, especially when automatically crawled (Caswell et al , 2022). これはおそらく、コーポラ gpt2を含むwebからのテキストがトレーニングされたという事実によって部分的に説明され得るが、特に自動的にクロールされた場合(caswell et al, 2022)は、品質が悪いことが多い。
訳抜け防止モード: これはおそらくこの事実によって部分的に説明できるかもしれない。 コーパスGPT2を含むウェブからのテキストがトレーニングされた。 品質が悪い場合、特に 自動的にクロールする(Caswell et al, 2022)。
0.73
Alternatively, our choice of considering d-dimensional steering vectors as samples from d independent normally distributed random variables could be an incorrect assumption. あるいは、d 独立正規分布確率変数のサンプルとして d 次元ステアリングベクトルを考えるという選択は、誤った仮定である可能性がある。
訳抜け防止モード: あるいは私たちの選択 d独立正規分布確率変数のサンプルとしてd-次元ステアリングベクトルを考える 誤った仮定かもしれない
0.83
Alternative formulations could lead to more fluent and reliable generations. オルタナティブな定式化はより流動的で信頼性の高い世代を生み出す可能性がある。 0.37
英語(論文から抽出)日本語訳スコア
Ours: λ = 0.25 GPT2-finetune λ = 0.25 GPT2-finetune 0.35
Seq2seq TAILOR Neural QCFG + copy Retrieve-Edit Seq2seq TAILOR Neural QCFG + copy Retrieve-Edit 0.38
AAR AEM ARR ASR ATP IAD LFS MFS NAR NSR PFB PPR PTA SBR TFU TPA TPR VEM VSR AAR ARR ASR ATP IAD LFS NSR PFB PPR PTA SBR TPA TPR VEM VSR 0.33
0.825 0.774 0.721 0.819 0.666 0.772 0.396 0.748 0.825 0.677 0.819 0.393 0.574 0.120 0.699 0.478 0.692 0.548 0.739 0.825 0.774 0.721 0.819 0.666 0.772 0.396 0.748 0.825 0.677 0.819 0.393 0.574 0.120 0.699 0.478 0.692 0.548 0.739 0.20
0.263 0.647 0.263 0.647 0.25
0.476 0.479 0.476 0.479 0.25
- - - 0.398 0.763 0.433 0.430 0.895 0.836 0.754 0.309 - - - 0.398 0.763 0.433 0.430 0.895 0.836 0.754 0.309 0.37
- 0.187 0.450 - 0.187 0.450 0.34
0.373 0.345 0.373 0.345 0.25
- - - 0.393 0.330 0.339 0.317 0.527 0.478 0.516 0.289 - - - 0.393 0.330 0.339 0.317 0.527 0.478 0.516 0.289 0.37
- 0.781 0.556 - 0.781 0.556 0.34
0.842 0.717 0.842 0.717 0.25
0.873 0.884 0.710 0.873 0.884 0.710 0.24
- - - - - 0.676 - - - - - 0.676 0.40
0.836 0.664 0.836 0.664 0.29
- - - - 0.387 0.897 - - - - 0.387 0.897 0.39
0.681 0.493 0.681 0.493 0.25
- - - 0.541 0.798 0.714 0.706 0.899 0.935 0.909 0.416 - - - 0.541 0.798 0.714 0.706 0.899 0.935 0.909 0.416 0.37
- Table 10: In this table, we show performance on StylePTB. - 表10: このテーブルでは、StylePTBのパフォーマンスを示します。 0.63
Although our method is unsupervised, we outperform GPT2-finetune and seq2seq on most tasks. GPT2-finetune と seq2seq を多くのタスクで上回ります。 0.45
For minimal edit tasks such as AEM, ARR, ATP, and PFB, we achieve comparable performance to TAILOR, Neural QCFG + copy, and Retrieve-Edit, which are models trained specifically for these types of tasks. AEM, ARR, ATP, PFBなどの最小限の編集タスクでは, TAILOR, Neural QCFG + copy, Retrieve-Editと同等の性能を達成している。
訳抜け防止モード: AEM、ARR、ATP、PFBのような最小限の編集タスクのために。 TAILOR, Neural QCFG + copy, And Retrieve - 編集。 このようなタスクに特化して訓練されたモデルです
0.65
Note: we obtain the numbers for GPT2-finetune, Seq2seq, and Retrieve-Edit from (Lyu et al , 2021), for TAILOR from (Ross et al , 2021), and for Neural QCFG+copy from (Kim, 2021). 注: GPT2-finetune, Seq2seq, Retrieve-Edit(Lyu et al , 2021)、TAILOR(Ross et al , 2021)、Neural QCFG+copy(Kim, 2021)の数値を得る。 0.75
Sampled Sequences ... サンプル配列 ... 0.49
wine. . peopled by. ワインだ . 人々よ 0.53
kitchen.... . キッチン... . 0.50
life nomnomnomnom of We’re going to make sure that we have a safe and secure environment for our employees. 生命のノムノムノム(nomnomnomnom)は、従業員に安全で安全な環境を提供することを約束する。 0.66
app racial applify アプリ 人種 applify 0.57
iv mobile the first time that we’ve seen a team that looked good on paper. iv 紙によく見えるチームを見たのは、モバイルが初めてだ。 0.51
Gathering around the world, we can all agree that the next step is to get our voices heard. 世界中に集まり、次のステップは声を聞くことだと誰もが同意できる。
訳抜け防止モード: 世界中に集まり 皆が同意するでしょう 次のステップは、私たちの声を聞くことです。
0.72
x item link appointments kitate.com xアイテムリンクアポイントメント kitate.com 0.68
3 hotel imagine a world where every day we see a new voice in our communities. 3 ホテルは、私たちのコミュニティに毎日新しい声が現れる世界を想像します。 0.63
(AAP) - The United States and its European allies are pressing ahead with plans to boost the number of refugees arriving in the country from Iraq and Syria. aap:米国と欧州連合(eu)の同盟国は、イラクやシリアから入国する難民の数を増やす計画を進めている。 0.58
\n \nThe United States and its allies are pressing ahead on the issue as they work to boost the number and scope of refugees arriving in Europe. 米国と同盟国は、欧州に入国する難民の数と範囲を増やすため、この問題を先送りしている。
訳抜け防止モード: 米国とその同盟国はこの問題を先送りしている。 彼らはヨーロッパに到着した難民の数と範囲を増やそうとしている。
0.69
the best. Table 11: Here we show results from our sampling experiment, where we treat steering vectors as samples from d independent normally distributed random variables. 最高だ 表11:ここでは、d独立正規分布確率変数のサンプルとしてステアリングベクトルを扱うサンプリング実験の結果を示す。 0.62
We sample 24 steering vectors, pass them to GPT2-117M, and decode, resulting in the 24 generations presented here. 24個のステアリングベクトルをサンプリングし、gpt2-117mに渡し、デコードし、24世代がここで示される。 0.62
英語(論文から抽出)日本語訳スコア
Unsupervised sentiment transfer using steering vectors ステアリングベクトルを用いた教師なし感情伝達 0.60
Positive to negative positive (複数形 positives) 0.49
Negative to positive input +0.5 ∗ ztonegative +1.0 ∗ ztonegative +1.5 ∗ ztonegative +2.0 ∗ ztonegative 正に否定する 入力 0.5 ∗ zto陰性 +1.0 ∗ zto陰性 +1.5 ∗ zto陰性 +2.0 ∗ zto陰性 0.56
input +0.5 ∗ ztonegative +1.0 ∗ ztonegative +1.5 ∗ ztonegative +2.0 ∗ ztonegative 入力 0.5 ∗ zto陰性 +1.0 ∗ zto陰性 +1.5 ∗ zto陰性 +2.0 ∗ zto陰性 0.58
i highly recommend this place! i highly recommend this place! i highly recommend this place! i highly recommend this place! i was very disappointed. 私はこの場所をとてもお勧めします!私はこの場所をとてもお勧めします!私はこの場所をとてもお勧めします!私はとてもがっかりしました。 0.67
it is always good to find quality local spots when traveling. 旅行するときに 良質な場所を見つけるのは 良いことです 0.66
it is always good to find quality local spots when traveling. 旅行するときに 良質な場所を見つけるのは 良いことです 0.66
it is always good to find quality local spots when traveling. 旅行するときに 良質な場所を見つけるのは 良いことです 0.66
it is always good to find local spots when traveling. 旅行の場所を見つけるのはいつも良いことです 0.62
it was always going to be a long time. いつも 久しぶりだったのに。 0.49
input it was delicious! 入力 美味しかった! 0.66
+0.5 ∗ ztonegative +1.0 ∗ ztonegative +1.5 ∗ ztonegative +2.0 ∗ ztonegative 0.5 ∗ zto陰性 +1.0 ∗ zto陰性 +1.5 ∗ zto陰性 +2.0 ∗ zto陰性 0.41
input +0.5 ∗ ztonegative +1.0 ∗ ztonegative +1.5 ∗ ztonegative +2.0 ∗ ztonegative +2.5 ∗ ztonegative 入力 +0.5 ∗ zto negative +1.0 ∗ zto negative +1.5 ∗ zto negative +2.0 ∗ zto negative +2.5 ∗ zto negative 0.50
it was delicious! it was delicious! it was a very bad night. 美味しかった! 美味しかった! ひどい夜だった。 0.49
it was a very bad night. とても悪い夜でした。 0.61
the food is fresh and the environment is good. 食べ物は新鮮なし、環境も良い。 0.53
the food is fresh and the environment is good. 食べ物は新鮮なし、環境も良い。 0.53
the food is fresh and the environment is good. 食べ物は新鮮なし、環境も良い。 0.53
the food is fresh and the environment is good. 食べ物は新鮮なし、環境も良い。 0.53
the food is bad. the food was produced in the past. 食べ物は悪いです。 食品は過去に作られたものです 0.72
input my goodness it was so gross. 入力 よかった。 すっごく すごかった。 0.59
+0.5 ∗ ztopositive my goodness it was so gross. +0.5 ∗ zto positive my goodness 非常に粗い。 0.72
+1.0 ∗ ztopositive my goodness it was so gross. +1.0 ∗ zto positive my goodness 非常に粗い。 0.75
+1.5 ∗ ztopositive my goodness it was so gross. +1.5 ∗ zto positive my goodness 非常に粗い。 0.74
+2.0 ∗ ztopositive my goodness it was so good. +2.0 ∗ zto positive my goodness とても良かったです。 0.77
something new. something new. 何か新しいもの 何か新しいもの 0.76
something new. went here for the first time to try something new ... bad idea. 何か新しいもの 新しいものを試すために 初めてここに来た... 悪い考えだ 0.77
+0.5 ∗ ztopositive went here for the first time to try +1.0 ∗ ztopositive went here for the first time to try +1.5 ∗ ztopositive went here for the first time to try +2.0 ∗ ztopositive went here for the first time to try something new. 0.5 ∗ zto positive は初めて、+1.0 ∗ zto positive は初めてここへ、+1.5 ∗ zto positive は初めてここへ、+2.0 ∗ zto positive は初めてここで新しいものを試した。 0.63
I’m really looking forward to trying something new for the first time. 初めて何か新しいものを試すのを本当に楽しみにしています。 0.84
if i could give them a zero star review i would! if i could give them a star i would! if i could give them a star i would! if i could give them a star i would! if i could give them a star i would! fries are n’t worth coming back. もし私が彼らにゼロスターレヴューを与えることができたら、私はそうするだろう!もし彼らに星を渡せるなら、私はそうするだろう!もし彼らに星を渡せるなら、私はそうするだろう!もし彼らに星を渡せるなら、私はそうするだろう!フライは、戻ってくる価値がない。 0.68
+0.5 ∗ ztopositive +1.0 ∗ ztopositive +1.5 ∗ ztopositive +2.0 ∗ ztopositive +0.5 ∗ zto positive +1.0 ∗ zto positive +1.5 ∗ zto positive +2.0 ∗ zto positive 0.21
input input input +0.5 ∗ ztopositive +1.0 ∗ ztopositive +1.5 ∗ ztopositive +2.0 ∗ ztopositive +2.5 ∗ ztopositive 入力 入力 入力 +0.5 ∗ zto positive +1.0 ∗ zto positive +1.5 ∗ zto positive +2.0 ∗ zto positive +2.5 ∗ zto positive 0.62
fries are good. フライドポテトがいい。 0.60
fries are good. フライドポテトがいい。 0.60
fries are good. フライドポテトがいい。 0.60
fries are good. フライドポテトがいい。 0.60
fries are a great way to get a good laugh. フライドポテトは良い笑い方だ。 0.40
Table 12: This table shows some generations from unsupervised sentiment transfer of steering vectors. 表12: この表は、ステアリングベクトルの教師なしの感情伝達からいくつかの世代を示す。 0.60
Sentences are from the Yelp dataset. 文はYelpデータセットから作成される。 0.49
We find that with increasing λ sentiment transfers more strongly towards positive or negative, often switching at λ = 1.5. λ の感情伝達の増加は正あるいは負の方向に強く、λ = 1.5 で切り替えることが多い。 0.82
                                 ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。