論文の概要、ライセンス

# (参考訳) インクリメンタルソース精度推定による弱監視 [全文訳有]

Weak Supervision with Incremental Source Accuracy Estimation ( http://arxiv.org/abs/2205.05302v1 )

ライセンス: CC BY 4.0
Richard Gresham Correro(参考訳) リアルタイムデータにラベルを生成したいという欲求により,弱監督源の依存性構造と精度を漸進的に推定する手法を開発した。 提案手法は,まず管理ソースに関連付けられた依存関係構造を推定し,新たなデータ受信時に推定ソースの精度を反復的に更新する。 公開データセットとヒューリスティック関数を用いてトレーニングされた既成の分類モデルを用いて,本手法が既存のオフライン手法と一致する精度で確率ラベルを生成することを示す。

Motivated by the desire to generate labels for real-time data we develop a method to estimate the dependency structure and accuracy of weak supervision sources incrementally. Our method first estimates the dependency structure associated with the supervision sources and then uses this to iteratively update the estimated source accuracies as new data is received. Using both off-the-shelf classification models trained using publicly-available datasets and heuristic functions as supervision sources we show that our method generates probabilistic labels with an accuracy matching that of existing off-line methods.
公開日: Wed, 11 May 2022 07:01:10 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
2 2 0 2 y a M 1 1 2 2 0 2 y a m 1 1 である。 0.54
] G L . s c [ ] G L。 sc [ 0.47
1 v 2 0 3 5 0 1 v 2 0 3 5 0 0.43
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Weak Supervision with Incremental Source インクリメンタルソースによる弱い監督 0.53
Accuracy Estimation Richard Correro, Department of Statistics, Stanford University, 精度推定 スタンフォード大学統計学部リチャード・コレロ教授。 0.73
1 Motivated by the desire to generate labels for real-time data we develop a method to estimate the dependency structure and accuracy of weak supervision sources incrementally. 1 リアルタイムデータにラベルを生成したいという欲求により,弱監督源の依存性構造と精度を漸進的に推定する手法を開発した。
訳抜け防止モード: 1 リアルタイムデータのためのラベル生成意欲に動機づけられた手法の開発 弱い監督源の依存関係構造と精度を漸進的に推定する。
0.61
Our method first estimates the dependency structure associated with the supervision sources and then uses this to iteratively update the estimated source accuracies as new data is received. 提案手法は,まず管理ソースに関連付けられた依存関係構造を推定し,新たなデータ受信時に推定ソースの精度を反復的に更新する。 0.82
Using both off-the-shelf classification models trained using publicly-available datasets and heuristic functions as supervision sources we show that our method generates probabilistic labels with an accuracy matching that of existing off-line methods. 公開データセットとヒューリスティック関数を用いてトレーニングされた既成の分類モデルを用いて,本手法が既存のオフライン手法と一致する精度で確率ラベルを生成することを示す。 0.75
Abstract Weak Supervision, Transfer Learning, On-line Algorithms. 概要 弱スーパービジョン、トランスファーラーニング、オンラインアルゴリズム。 0.53
Index Terms W EAK supervision approaches obtain labels for unlabeled training data using noiser or higher level sources than traditional 索引項 W EAK監督アプローチは、従来よりも高レベル音源を用いたラベル付きトレーニングデータのラベルを得る 0.48
supervision [1]. These sources may be heuristic functions, off-the-shelf models, knowledge-base-looku ps, etc. 監督 [1]。 これらのソースはヒューリスティック関数、既製のモデル、知識ベースルックアップなどです。 0.44
[2]. By combining multiple supervision sources and modeling their dependency structure we may infer the true labels based on the outputs of the supervision sources. [2]. 複数の監督源を組み合わせてそれらの依存構造をモデル化することにより、監督源の出力に基づいて真のラベルを推測することができる。
訳抜け防止モード: [2]. 複数の監視源を組み合わせることで、依存関係構造をモデル化する 監督資料の出力に基づいて 真のラベルを推測できる。
0.53
I. INTRODUCTION I. イントロダクション 0.64
Problem Setup In the weak supervision setting we have access to a dataset X = {x1, . . . , xn} associated with unobserved labels Y = 問題設定 弱い監督設定では、観測されていないラベル Y = に関連するデータセット X = {x1, . , xn} にアクセスできます。 0.56
{y1, . . . , yn}, yi ∈ {1, . . . , k} and a set of weak supervision sources pi(y|x), i = 1, . . . , m. y1, . . . . . , yn}, yi ∈ {1, . . . . . , k} と弱監督元 pi(y|x), i = 1, . . . , m の組。 0.76
We denote the outputs of the supervision sources by λ1, . . . , λm and let λj = [λ1 λ2 . . . λm]T denote the vector of labels 監督源の出力を λ1, . . . , λm で表し、 λj = [λ1 λ2 . . . λm]t をラベルのベクトルとする。 0.85
associated with example xj. 例 xj に関連付ける。 0.81
The objective is to learn the joint density 目的は関節密度を学習することである 0.82
over the sources and the latent label. ソースと潜伏ラベルを 引き継いでいました 0.59
Using this we may estimate the conditional density これを用いて条件密度を推定できる 0.81
f (y, λ) f (複数形 fs) 0.65
(1) These sources may take many forms but we restrict ourselves to the case in which λi ∈ {0, . . . , k} and thus the label functions generate labels belonging to the same domain as Y . 1) これらの情報源は多くの形式を取るが、λi ∈ {0, . . . . , k} が成り立つ場合に制限されるので、ラベル関数は Y と同じ領域に属するラベルを生成する。 0.75
Here λi = 0 indicates the ith source has not generated a label for this example. ここで λi = 0 は、ith ソースがこの例のラベルを生成していないことを示している。
訳抜け防止モード: ここで λi = 0 は ithソースはこの例のラベルを 生成していません
0.86
Such supervision sources may include heuristics such as knowledge base lookups, or pre-trained models. このような監督ソースには、知識ベースルックアップや事前学習されたモデルといったヒューリスティックスも含まれる。 0.49
fΛ(λ) > 0. fλ(λ) > 0 である。 0.77
fΛ(λ) λ (複数形 λs) 0.55
, fY |Λ(y|λ) = , fY | (y|λ) = 0.43
fY,Λ(y, λ) fY (複数形 fYs) 0.39
Varma et al [3] and Ratner, et al [4] model the joint distribution of λ1, . . . , λm, Y in the classification setting as a Markov varma et al [3] and ratner, et al [4] model the joint distribution of λ1, . . . . , λm, y in the classification setting as a markov
訳抜け防止モード: varma et al [3 ] と ratner, et al [4 ] はλ1, ... の合同分布をモデル化する。 マルコフとしての分類設定におけるλm , y
0.81
Random Field fG(λ1, . . . , λm, y) = ランダムフィールド fg(λ1, . . . , λm, y) = 0.59
1 Z exp θiλi + 1Z exp θiλi + 0.48
θi,jλiλj + θY y + θi,jλiλj + θY y + 0.34
θY,yyλi II. θy,yyλi II。 0.54
RELATED WORK (cid:88) 関連作業 ※(第88回) 0.48
λi∈V (cid:88) λiōV (cid:88) 0.33
(λi,λj )∈E (λi,λj )htmle 0.34
(cid:88) λi∈V (cid:88) λiōV 0.33
 associated with graph G = (V, E) where θi,j 1 ≤ i, j ≤ m + 1 denote the canonical parameters associated with the supervision sources and Y , and Z is a partition function [here V = {λ1, . . . , λm} ∪ {Y }].  θi,j 1 ≤ i, j ≤ m + 1 であるグラフ G = (V, E) に付随し、Z は分割函数(以下 V = {λ1, . . , λm} > {Y }] である。
訳抜け防止モード:  θi のグラフ g = ( v, e ) に付随する。 j 1 ≤ i, j ≤ m + 1 は監督元に関連する標準パラメータを表す。 y と z は分配関数 [ ここで v = { λ1, ..., λm {\displaystyle λm}} は y {\displaystyle y} である。
0.59
If λi is not independent of λj conditional on Y and all sources λk, k ∈ {1, . . . , m} \ {i, j}, then (λi, λj) is an edge in E. λi が y 上の λj 条件とすべてのソース λk, k ∈ {1, . . . , m} \ {i, j} とは独立でないなら、(λi, λj) は e の辺である。 0.89
Let Σ denote the covariance matrix of the supervision sources and Y . Σ は、監督源と Y の共分散行列を表す。 0.65
To learn G from the labels ラベルからgを学ぶには 0.75
O = {λi : λi = [λ1, . . . , λm]T ; i = 1, . . . , n} o = {λi : λi = [λ1, . . , λm]t ; i = 1, . . , n} 0.44
and without the ground truth labels, Varma et al assume that G is sparse and therefore that the inverse covariance matrix Σ−1 associated with λ1, . . . , λm, Y is graph-structured. そして、基底の真理ラベルがなければ、ヴァルマらは G はスパースであり、従って逆共分散行列 Σ−1 は λ1, . , λm, Y に付随する。 0.72
Since Y is a latent variable the full covariance matrix Σ is unobserved. Y は潜在変数であるため、完全共変行列 Σ は観測されない。 0.65
We may write the covariance matrix in block-matrix form as follows: 共分散行列をブロック行列形式で書くことができる。 0.62
Cov[O ∪ S] := Σ = Cov[O > S] := Σ = 0.41
(cid:20) ΣO ΣOS (→20)ΣOΣOS 0.62
(cid:21) ΣT (出典:21) ΣT 0.53
OS ΣS OS ΣS 0.44
英語(論文から抽出)日本語訳スコア
Inverting Σ, we write ΣO may be estimated empirically: Σ を反転して書く ΣO は経験的に推定できる。 0.65
Σ−1 = ˆΣO = Σ−1 = シュΣO = 0.47
ΛΛT n − ννT (cid:20) KO KOS ~Tn -ννT (系統:20)甲子 0.42
K T OS KS (cid:21) K T OS KS (出典:21) 0.51
2 where Λ = [λ1λ2, . . . , λn] denotes the m × n matrix of labels generates by the sources and ν = ˆE[O] ∈ Rm denotes the observed labeling rates. 2 ここで λ = [λ1λ2, . . , λn] は源によって生成されるラベルの m × n 行列を表し、ν = νE[O] ∈ Rm は観測されたラベル付け率を表す。 0.59
Using the block-matrix inversion formula, Varma et al show that ブロック行列逆数公式を用いて、Varma et al は、 0.64
where c = (ΣS − ΣT ここで c = (σs − σt) である。 0.43
OSΣ−1 KO = Σ−1 O + cΣ−1 √ O ΣOS)−1 ∈ R+. OSΣ−1 ko = σ−1 o + cσ−1 かつ o σos)−1 ∈ r+ である。 0.37
Letting z = cΣ−1 O = KO − zzT Σ−1 z = cΣ−1 O = KO − zzT Σ−1 とする。 0.68
OSΣ−1 O ΣOS, they write OSΣ−1 O ΣOS, 0.39
O ΣOSΣT O where KO is sparse and zzT is low-rank positive semi definite. O ΣOSΣT お KO はスパースであり、zzT はローランク正半定値である。 0.49
Because Σ−1 matrix we may use Robust Principal Components Analysis [5] to solve the following: Σ−1 行列であるため、ロバスト主成分分析 [5] を用いて次のように解くことができる。
訳抜け防止モード: Σ−1行列であるため、ロバスト主成分分析を用いることができる [5] こう解決します
0.70
O is the sum of a sparse matrix and a low-rank o はスパース行列と低ランク行列の和である 0.68
( ˆS, ˆL) = argmin(S,L)||L||∗ + γ||S||1 s.t. (s, l) = argmin(s,l)||l||∗ + γ|s|||1 s.t。 0.60
S − L = ˆΣ−1 s − l = σ−1 である。 0.47
O O ( ˆS, ˆL) = argmin(S,L)||L||∗ + γ||S||1 お お (S) = argmin(S,L)|L||∗ + γ||S||1 0.56
Varma et al then show that we may learn the structure of G from KO and we may learn the accuracies of the sources from z using the following algorithm: Algorithm 1: Weak Supervision Structure Learning and Source Estimation Using Robust PCA (From [3]) Result: ˆG = (V, ˆE), ˆL Inputs : Estimate of covariance matrix ˆΣO, parameter γ, threshold T Solve : s.t. S − L = ˆΣ−1 ˆE ←− {(i, j) : i < j, ˆSi,j > T} Note that ˆL = zzT . アルゴリズム 1: 弱スーパービジョン構造学習(英語版)(Weak Supervision Structure Learning and Source Estimation using Robust PCA (From [3]) 結果: ^G = (V, ^E), ^L Inputs : Estimate of covariance matrix ^ΣO, parameter γ, threshold T Solve : s.t. S − L = .t. L = .t. L . E ^ {(i, j) : i < j, ^Si,j > T} 注意。 0.64
Ratner, et al [4] show that we may estimate the source accuracies ˆµ from z and they propose a simpler algorithm for estimating z if the graph structure is already known: If E is already known we may construct a dependency mask Ω = {(i, j) : (λi, λj) (cid:54)∈ E}. ratner, et al [4] は、z からソース accuracies を推定し、グラフ構造が既に知られているならば z を推定するためのより単純なアルゴリズムを提案している: e が既に知られているならば、依存性マスク ω = {(i, j) : (λi, λj) (cid:54)ψ e} を構成することができる。 0.78
They use this in the following algorithm: Algorithm 2: Source Estimation for Weak Supervision (From [4]) Result: ˆµ Inputs : Observed labeling rates ˆE[O] and covariance ˆΣO; class balance ˆE[Y ] and variance ˆΣS; dependency mask Ω ˆz ←− argminZ|| ˆΣ−1 ˆc ←− Σ−1 √ S (1 + ˆzT ˆΣO ˆz) ˆΣOS ←− ˆΣO ˆz/ ˆµ ←− ˆΣOS + ˆE[Y ]ˆE[O] Snorkel, an open-source Python package, provides an implementation of algorithm 2 [6]. アルゴリズム2: 弱い監督のためのソース推定 ([4]) 結果: sμ 入力 : 観測されたラベリングレート :e[o] と共分散 :σo; クラスバランス :e[y ] と分散 :σs; 依存性マスク ω ,z , − argminz|| ,c , σ−1 と σ−1 と s (1 + ]zt と σo と z) とσos と − σo と ,オープンソースのpythonパッケージである 2 [6] は,アルゴリズム2 [6] の実装を提供する。 0.73
O + zzT||Ω O + zzT||Ω 0.34
ˆc III. c である。 III。 0.54
MOTIVATING OUR APPROACH 私たちのアプローチを動機づける 0.33
Although the algorithm proposed by Varma et al may be used determine the source dependency structure and source accuracy, it requires a robust principal components decomposition of the matrix ˆΣO which is equivalent to a convex Principal Components Pursuit (PCP) problem [5]. varmaらによって提案されたアルゴリズムは、ソースの依存性構造とソースの精度を決定できるが、これは凸主成分追跡問題(pcp)問題 [5] と等価な行列の頑健な主成分分解を必要とする。 0.83
Using the current state-of-the-art solvers such problems have time complexity O(−2) where  denotes the solver convergence tolerance [5]. 現在の最先端の解法を用いることで、そのような問題は時間複雑性 O(a−2) を持つ。 0.63
For reasonable choices of  this may be a very expensive calculation. 妥当な選択については、これは非常に高価な計算かもしれない。 0.61
In the single-task classification setting, algorithm 2 may be solved by least-squares and is therefore much less expensive to compute than algorithm 1. シングルタスク分類設定では、アルゴリズム2は最小二乗で解くことができ、そのためアルゴリズム1よりも計算コストがはるかに低い。 0.73
Both algorithms, however, require the observed labeling rates and covariance estimates of the supervision sources over the entire dataset and therefore cannot be used in an on-line setting. しかし、両方のアルゴリズムは、データセット全体にわたる監視源の観測されたラベル付け率と共分散推定を必要とするため、オンライン設定では使用できない。 0.73
We therefore develop an on-line approach which estimates the structure of G using algorithm 1 on an initial ”minibatch” of unlabeled examples and then iteratively updates the source accuracy estimate ˆµ using using a modified implementation of algorithm 2. そこで、未ラベル例の初期“minibatch”にアルゴリズム1を用いてGの構造を推定するオンラインアプローチを開発し、アルゴリズム2の修正実装を用いてソース精度推定を反復的に更新する。 0.83
英語(論文から抽出)日本語訳スコア
Given an initial batch b1 of unlabeled examples Xb1 = {x1, . . . , xk} we estimate G by first soliciting labels λ1, . . . , λk for Xb1 from the sources. xb1 = {x1, . . . . . , xk} の最初のバッチ b1 が与えられたとき、まずラベル λ1, . . . . , λk for xb1 をソースから引き出すことで g を推定する。 0.73
We then calculate estimated labeling rates ˆE[O] and covariances ˆΣOb1 which we then input to algorithm 1, yielding ˆG = (V, ˆE) and ˆL. 次に推定されたラベリングレートを計算し、アルゴリズム1に入力した共分散であるσob1を計算し、g = (v, s) と sl を得る。 0.64
From ˆE we create the dependency mask ˆΩ = {(i, j) : (λ1, λj) (cid:54)∈ ˆE} which we will use with future data batches. E から、従属マスキングマスク は {(i, j) = {(i, j) : (λ1, λj) (cid:54)発言する。
訳抜け防止モード: E から依存マスクを作成すれば、従属マスク は、 (i, i) となる。 j ) : ( λ1, λj ) ( cid:54)公開されている。
0.54
Using the fact that ˆL = zzT we recover ˆz by first calculating L = zzT であるという事実を用いて、最初に計算することで tz を回復する。 0.49
IV. METHODS (cid:113) IV。 方法 (cid:113) 0.34
|ˆz| = diag( ˆL) |-z| = diag (複数形 diags) 0.49
3 We then break the symmetry using the method in [4]. 3 そして、[4]でこの方法を用いて対称性を壊す。 0.60
Note that if a source λi is conditionally independent of the others then the sign of zi determines the sign of all other elements of z. ソース λi が条件付きで他の要素と独立であれば、zi の符号は z の他のすべての要素の符号を決定する。 0.80
Using ˆz, ˆE[O], ˆΣOb1, class balance prior ˆE[Y ] and class variance prior ˆΣS we calculate ˆµ, an estimate of the source accuracies [if we have no prior beliefs about the class distribution then we simply substitute uninformative priors for ˆE[O] and ˆΣOb1]. z, s[o], sσob1, class balance prior se[y ], class variance before sσs を用いて、ソース・アキュラシーの推定値である sμ を計算する [もしクラス分布について事前の信念がなければ、単に se[o] と sσob1] の非インフォーマティブな前処理を置換するだけである]。 0.67
For each following batch bp of unlabeled examples Xbp we estimate ΣObp and E[O]bp. ラベルのない例 Xbp の各バッチ bp に対して、ΣObp と E[O]bp を推定する。 0.70
Using these along with ˆE[O] and ˆΣOb1 we calculate ˆµbp, an estimate of the source accuracies over the batch. これらを用いて、このバッチ上でのソース精度の推定値である「μbp」を計算します。 0.62
We then update ˆµ using the following update rule: 次に以下のアップデートルールを使って、μ を更新します。 0.64
ˆµ := (1 − α)ˆµ + αµbp ˆµ := (1 − α)ˆµ + αµbp 0.44
Using the estimated source accuracies and dependency structure we may estimate p(y, λ) which we may then use to estimate 推定ソースアキュラティと依存性構造を使用することで、p(y, λ) を推定することができる。
訳抜け防止モード: 推定ソースアキュラティと依存性構造の使用 p(y , λ ) を推定し、それを推定するのに使うことができる
0.82
where α ∈ [0, 1] denotes the mixing parameter. ここで α ∈ [0, 1] は混合パラメータを表す。 0.83
Our method thus models the source accuracies using an exponentially-weight ed moving average of the estimated per-batch source accuracies. そこで本手法は,推定バッチごとのソース精度の指数的に重み付けされた移動平均を用いて,ソース精度をモデル化する。 0.57
p(y|λ) by (1). p(y|λ) は (1) による。 0.74
Algorithm 3: Incremental Source Accuracy Estimation Result: ˆµ Inputs : Observed labeling rates ˆE[O]b and covariance ˆΣOb; class balance ˆE[Y ] and variance ˆΣS for each batch b do アルゴリズム3: インクリメンタルソース精度推定結果: シュμ入力 : 観測されたラベリングレート ^E[O]b と共分散 ^ΣOb; クラスバランス ^E[Y] および各バッチ b に対する分散 ^ΣS 0.77
if is initial batch then Use algorithm 1 to calculate ˆG and ˆL 初期バッチなら アルゴリズム 1 を用いて tG と tL を計算する 0.56
|ˆz| ←−(cid:113) diag( ˆL) (cid:113) diag (複数形 diags) 0.48
else Determine the sign of the entries of z using method from [4] ˆz ←− argminz|| ˆΣ−1 その他 4]−z−argminz|||−σ−1の方法を用いてzのエントリの符号を決定する 0.64
Ob + zzT||Ω Ob + zzT||Ω 0.34
end ˆc ←− Σ−1 √ S (1 + ˆzT ˆΣOb ˆz) ˆΣOS ←− ˆΣOb ˆz/ ˆµb ←− ˆΣOS + ˆE[Y ]ˆE[O]b if is initial batch then 初期バッチが初期バッチである場合、終端 sc s− σ−1 σ−1 σs (1 + zyzt sσob sz) は、初期バッチであるなら、σos s− σob sz/ sμb s− σos + σe[y ]e[o]b である。
訳抜け防止モード: 終端 σ−1 σ−1 s (1 + ジズト ジシッブ ジz ) ジシオス s− ジシスブ・ジz/ ジμb ジ− ジシッソス 初期バッチであるなら、+ s[y ] se[o]b である。
0.55
ˆc ˆµ ←− ˆµ ˆµ ←− (1 − α)ˆµ + αˆµb c である。 ˆµ ←− ˆµ ˆµ ←− (1 − α)ˆµ + αˆµb 0.34
else end end その他 終わり 終わり 0.69
Supervision Sources スーパービジョンソース 0.59
V. TESTS We test our model in an on-line setting using three supervision sources. v. テスト 3つの監督源を用いてオンライン設定でモデルをテストする。 0.65
Two of the sources are off-the-shelf implementations of Na¨ıve Bayes classifiers trained to classify text by sentiment. 2つの情報源は、感情によってテキストを分類する訓練を受けたNa sıve Bayes分類器の既製の実装である。 0.52
Each was trained using openly-available datasets. それぞれがオープン利用可能なデータセットを使用してトレーニングされた。 0.40
The first model was trained using a subset of the IMDB movie reviews dataset which consists of a corpus of texts labeled by perceived sentiment [either ”positive” or ”negative”]. 最初のモデルはIMDB映画レビューデータセットのサブセットを使用してトレーニングされ、それは知覚的感情(“ポジティブ”または“ネガティブ”)によってラベル付けされたテキストのコーパスから構成される。 0.65
Because the labels associated with this dataset are binary the classifier generates binary labels. このデータセットに関連付けられたラベルはバイナリであるため、分類器はバイナリラベルを生成する。 0.58
The second classifier was trained using another openly-available dataset, this one consisting of a corpus of text extracted from tweets associated with air carriers in the United States and labeled according to sentiment. 第2の分類器は、米国内の航空母艦に関連付けられたツイートから抽出されたテキストのコーパスからなり、感情に応じてラベル付けされた別の公開データセットを使用してトレーニングされた。 0.62
These labels in this dataset belong to three seperate classes [”positive”, ”neutral”, and ”negative”] and therefore the model trained using this dataset classifies examples according to these classes. このデータセットのラベルは3つの分離したクラス[“正”,“中性”,“負”]に属しているため、このデータセットを使ってトレーニングされたモデルは、これらのクラスに従ってサンプルを分類する。 0.77
The final supervision source is the Textblob Pattern Analyzer. 最後の監視ソースはTextblob Pattern Analyzerである。 0.76
This is a heuristic function which classifies text by polarity and subjectivity using a lookup-table consisting of strings mapped to polarity/subjectivit y estimates. これは、極性と主観性によってテキストを分類するヒューリスティック関数であり、極性/主観性推定にマッピングされた文字列からなるルックアップテーブルを使用する。
訳抜け防止モード: これは極性と主観性によってテキストを分類するヒューリスティック関数である lookup - 極性/主観性推定にマッピングされた文字列からなるテーブル。
0.63
To generate discrete labels for an example using this model we threshold the polarity/subjectivit y estimates associated with the label as follows: このモデルを用いてサンプルの離散ラベルを生成するために、ラベルに付随する極性/主観的推定値を下記のように閾値付けする。
訳抜け防止モード: このモデルを使って 離散ラベルを生成します ラベルに付随する極性/主観性推定値のしきい値は以下の通りである。
0.68
英語(論文から抽出)日本語訳スコア
• If polarity is greater than 0.33 we generate a positive label • If polarity is less than or equal to 0.33 but greater than -0.33 we generate a neutral label • If polarity is less than or equal to 0.33 we generate a negative label • 極性が 0.33 より大きい場合、正のラベル • 極性が 0.33 より小さい場合、-0.33 より大きい場合、中性ラベル • 極性が 0.33 より小さい場合、負のラベルを生成する。 0.75
Test Data We test our incremental model using a set of temporally-ordered text data extracted from tweets associated with a 2016 GOP primary debate labeled by sentiment [”positive”, ”neutral”, or ”negative”]. テストデータ 我々は、感情[“陽性”, “中立”, “否定”]にラベル付けされた2016 GOPプライマリディベートに関連するツイートから抽出した、時間順のテキストデータを用いて、インクリメンタルモデルをテストする。 0.76
We do so by solicting labels λ1, . . . , λn associated with the n examples from the three supervision sources. 我々は、ラベル λ1, . . . , λn を3つの監督源の n 個の例に関連づけることで、そうする。 0.68
Weak Supervision as Transfer Learning 転校学習としての弱い監督 0.53
Note that this setting is an example of a transfer learning problem [7]. この設定は転写学習問題の例 [7] である。 0.64
Specifically, since we are using models pre-trained on datasets similar to the target dataset we may view the Naive Bayes models as transferring knowledge from those two domains [Tweets associated with airlines and movie reviews, respectively] to provide supervision signal in the target domain [7]. 具体的には、ターゲットデータセットと同様のデータセットで事前トレーニングされたモデルを使用しているため、ナイブベイズモデルが、これらの2つのドメイン(それぞれ航空会社と映画レビューに関連するつぶやき)からの知識を伝達して、ターゲットドメインに監視信号を提供するものとして見ることができる [7]。 0.64
The Pattern Analyzer may be viewed through the same lens as it uses domain knowledge gained through input from subject-matter experts. Pattern Analyzerは、サブジェクト・マッターの専門家からの入力によって得られたドメイン知識を使用するのと同じレンズを通して見ることができる。
訳抜け防止モード: Pattern Analyzerは、同じレンズを通して見ることができる 課題 - 問題エキスパートからのインプットによって得られるドメイン知識を使用する。
0.70
Test Setup テストのセットアップ 0.82
4 Because our model is generative we cannot use a standard train-validation-tes t split of the dataset to determine model performance. 4 私たちのモデルは生成的であるため、モデル性能を決定するためにデータセットの標準的なトレインバリデーションテスト分割は使用できません。 0.52
Instead, we compare the labels generated by the model with the ground-truth labels over separate folds of the dataset. 代わりに、データセットの別々の折りたたみに対して、モデルによって生成されたラベルと接地ラベルを比較します。 0.62
Data Folding Procedure: We split the text corpus into five folds. データ折り畳み手順:テキストコーパスを5つの折りたたみに分割する。 0.73
The examples are not shuffled to perserve temporal order within folds. 例は、折りたたみの中で時間的順序を保つためにシャッフルされない。 0.55
Using these folds we perform 5 separate tests, each using four of the five folds in order. これらの折り目を使って5つの別々のテストを行い、それぞれ5つの折り目のうち4つを順番に使います。 0.56
For example, the fifth test uses the fold 5 and folds 1—3, in that order. 例えば、第5テストでは、折りたたみ5と折りたたみ1〜3をその順番で使用する。 0.73
Partition Tests: For each set of folds we further partition the data into k = 100 batches of size q which we refer to as ”minibatches” [as they are subsets of the folds]. 分割テスト: フォールドの各セットについて、さらにデータを k = 100 バッチのサイズ q に分割します。
訳抜け防止モード: 分割テスト:各折り畳みの集合について、さらにデータを k = 100 バッチのサイズ q に分割する。 ” minibatches ” [それらが fold の部分集合であるように] と呼びます。
0.75
For each minibatch we solicit labels λ1, . . . , λq, λi ∈ R3 from the two pretrained models and the Pattern Analyzer. 各ミニバッチに対して、2つの事前学習されたモデルとパターンアナライザから λ1, . . . , λq, λi ∈ r3 をラベルする。
訳抜け防止モード: ミニバッチ毎に λ1, . 2つの事前訓練されたモデルとパターンアナライザーから λq, λi ∈ R3 を得る。
0.81
Note that both pretrained classifiers first transform the text by tokenizing the strings and then calculating the term-frequency to inverse document frequency (Tf-idf) for each token. 両方の事前訓練された分類器は、まず文字列をトークン化し、次に各トークンの逆文書頻度(Tf-idf)を計算してテキストを変換する。 0.64
We store these labels in an array L for future use. これらのラベルは将来の使用のために配列lに格納します。 0.58
We then calculate ˆE[O]b and ˆΣOb for the minibatch, which we use with algorithm 3 to generate ˆµb and the dependency graph ˆG. 次に,アルゴリズム3を用いてμbと依存グラフを生成するミニバッチに対して,e[o]bとσobを計算する。 0.76
Using these we generate labels corresponding to the examples contained within the minibatch. これらを使用して、minibatchに含まれる例に対応するラベルを生成します。 0.61
Using the ground-truth labels associated with the examples contained within the minibatch we calculate the accuracy of our ミニバッチに含まれる実例に関連付けられた接地木ラベルを用いて精度を算出する。
訳抜け防止モード: 地面の使用 -私たちの精度を計算するミニバッチに含まれる例に関連する真理ラベル
0.78
method by comparing the generated labels ˆy with the ground-truth labels y: 生成されたラベル y と接地木ラベル y を比較する方法 0.72
accuracy(y, ˆy) = 1 q 精度(y,y) = 1q 0.36
1(ˆyi = yi) q−1(cid:88) 1(シュイ=イイ) q−1(cid:88) 0.48
i=0 We then average the accuracy scores associated with each minibatch over the number of minibatches used in each test to calculate the average per-test accuracy [calculated using four of the five folds of the overall dataset]. i=0 次に、各テストで使用されるミニバッチの数に対して、各ミニバッチに関連する精度スコアを平均化し、テスト毎の精度(全体データセットの5倍のうち4倍)を計算する。 0.48
We then compare the average accuracies of the labels produced using our incremental method to the accuracies of the labels produced by an existing off-line source accuracy estimation method based on algorithm 2 [6]. 次に,我々のインクリメンタル手法を用いて生成したラベルの平均精度と,既存のオフラインソース精度推定法で生成したラベルの平均精度を比較する [6]。 0.78
Since this method works in an off-line manner it requires access to the entire set L of labels generated by the supervision sources. この方法はオフラインで動作するため、監督ソースによって生成されるラベルのセットL全体にアクセスする必要がある。 0.70
Using these this method generates its own set of generated labels ˆybaseline with which we then calculate the baseline accuracy using the accuracy metric above. これらの手法を用いて, 生成するラベルのセット sybaseline を生成し, 上記の精度指標を用いてベースラインの精度を算出した。 0.79
Finally, we compare the accuracy of the labels generated by our method with the accuracy of the labels generated by each 最後に,提案手法が生成するラベルの精度と,各ラベルが生成するラベルの精度を比較した。 0.81
Comparing Values of α: We then follow the same procedure as above to generate labels for our method, except this time α の値を比較する: 今回は例外を除いて、上と同じ手順でメソッドのラベルを生成する。 0.80
of the supervision sources. we use different values of α. 監督の情報源です αの異なる値を使います 0.56
Our tests demonstrate the following: 1) Our model generates labels which are more accurate than those generated by the baseline [when averaged over all 5 1) 当社のモデルは,ベースラインが生成するラベルよりも正確なラベルを生成します [5 以上の平均値の場合]。 0.62
tests]. sources. 2) Both our method and the baseline generate labels which are more accurate than those generated by each of the supervision テスト] 情報源だ 2)本手法とベースラインの両方が,各監督機関が作成したものよりも高精度なラベルを生成する。 0.60
3) Our tests of the accuracy of labels generated by our method using different values of α yields an optimal values α = 0.05 3) α の異なる値を用いたラベルの精度の検証により,α = 0.05 の最適値が得られる。 0.87
and shows convexity over the values tested. テストされた値に対する凸性を示します 0.58
VI. RESULTS VI。 結果 0.66
英語(論文から抽出)日本語訳スコア
5 Fig. 1: Comparison of incremental and non-incremental model accuracy over minibatches. 5 図1:ミニバッチに対するインクリメンタルモデルと非インクリメンタルモデルの比較。 0.57
Fig. 2: Average model accuracy over minibatches. 図2:ミニバッチに対する平均モデルの精度。 0.84
TABLE I: Average Accuracy of Incremental Model For Different Alpha Values TABLE I: 異なるα値に対するインクリメンタルモデルの平均精度 0.83
Alpha Accuracy 0.001 0.61245 アルファ 正確さ 0.001 0.61245 0.57
0.01 0.61287 0.01 0.61287 0.29
0.025 0.61832 0.025 0.61832 0.25
0.05 0.1 0.25 0.05 0.1 0.25 0.29
0.61709 0.61498 0.61709 0.61498 0.29
0.61473 Theses tests show that the average accuracy of the incremental model qualitatively appears to increase as the number of samples seen grows. 0.61473 これらの結果から, 逐次モデルの平均精度は, 観察されるサンプルの数が増えるにつれて増大することが示された。 0.49
This result is not surprising as we would expect our source accuracy estimate approaches the true accuracy ˆµ −→ µ as the number of examples seen increases. この結果は、観測されたサンプル数の増加に伴い、ソース精度の推定値が真の精度である μ −→ μ に近づくと予測されるため、驚くにはあたらない。
訳抜け防止モード: この結果は 予想したほど 驚くことではありません ソース精度の推定値は,実例数の増加に伴い,真の精度であるμ-→μに近づく。
0.75
This implies that the incremental approach we propose generates more accurate labels as a function of the number of examples seen, unlike the supervision sources which are pre-trained and therefore do not generate more accurate labels as the number of labeled examples grows. これは,ラベル付きサンプルの数が増加するにつれて,事前学習された,より正確なラベルを生成できない管理源と異なり,実例数の関数としてより正確なラベルを生成することを提案する。 0.76
These tests also suggest that an optimal value for α for this problem is approximately 0.05 which is in the interior of the set of values tested for α. これらのテストはまた、この問題に対する α の最適値は、α に対してテストされた値の集合の内部にある約 0.05 であることを示唆している。 0.69
Since we used 100 minibatches in each test of the incremental model this implies that choosing an α which places greater weight on more recent examples yields better performance, although more tests are necessary to make any stronger claims. インクリメンタルモデルの各テストで100のミニバッチを使用したことから、より最近の例に重みを置くαを選択するとパフォーマンスが向上するが、より強力なクレームを作るにはより多くのテストが必要である。 0.68
Finally, we note that none of the models here tested are in themselves highly-accurate as classification models. 最後に、ここでテストされたどのモデルも、分類モデルとして高度に正確なものではないことに留意する。
訳抜け防止モード: 最後に、 ここでテストされたモデルはどれも、分類モデルとして正確です。
0.69
This is not unexpected as the supervision sources were intentionally chosen to be ”off-the-shelf” models and no feature engineering was performed on the underlying text data, neither for the datasets used in pre-training the two classifier supervision sources nor for the test set [besides Tf-idf vectorization]. 2つの分類器の監督源の事前トレーニングやテストセット(Tf-idfベクタライゼーションを除く)のトレーニングに使用されるデータセットにも、基礎となるテキストデータには機能エンジニアリングが実施されていないため、これは予期せぬことではない。 0.69
The intention in this test was to compare the relative accuracies of the two generative methods, not to design an accurate discriminative model. 本試験の目的は, 2つの生成手法の相対的精度を比較することであり, 正確な識別モデルの設計は行わなかった。 0.74
We develop an incremental approach for estimating weak supervision source accuracies. 我々は、弱い監督源の精度を推定するための漸進的なアプローチを開発する。 0.50
We show that our method generates labels for unlabeled data which are more accurate than those generated by pre-existing non-incremental approaches. 提案手法は,既存の非インクリメンタル手法よりも精度の高いラベル付きデータのラベルを生成する。 0.67
We frame our specific test case in which we use pre-trained models and heuristic functions as supervision sources as a transfer learning problem and we show that our method generates labels which are more accurate than those generated by the supervision sources themselves. 我々は,事前学習したモデルとヒューリスティック関数を転写学習問題として用いた特定のテストケースを作成し,本手法が,監督源自体が生成したラベルよりも精度の高いラベルを生成することを示す。 0.65
VII. CONCLUSION VII。 結論 0.65
英語(論文から抽出)日本語訳スコア
6 Fig. 3: Average per-batch accuracies for different values of α. 6 図3: α の異なる値に対するバッチごとの平均精度。 0.62
REFERENCES [1] Alexander Ratner. 参考 [1]アレクサンダー・ラトナー。 0.57
Stephen Bach. スティーブン・バッハ。 0.73
Paroma Varma. Chris R´e. パルマ・ヴァルマ クリス・r! 0.56
(2017) ”Weak Supervision: The New Programming Paradigm for Machine Learning”. (2017) “Weak Supervision: The New Programming Paradigm for Machine Learning”。 0.40
Snorkel [7] Sinno Jialin Pan. シュノーケル [7]シンノ・ジャリンパン。 0.51
Qiang Yang (2009) ”A Survey on Transfer Learning”. qiang yang (2009) “a survey on transfer learning”。 0.36
IEEE Transactions on Knowledge and Data Engineering. IEEE Transactions on Knowledge and Data Engineering(英語) 0.84
Vol 22. Issue 10. 第22巻。 10号。 0.55
[2] Mayee Chen. [2]マヤ・チェン。 0.64
Frederic Sala. フレデリック・サラ。 0.58
Chris R´e. ”Lecture Notes on Weak Supervision”. クリス・r! オーク・スーパービジョンの講義ノート」。 0.61
CS 229 Lecture Notes. CS 229 講義ノート。 0.70
Stanford University. スタンフォード大学出身。 0.66
[3] Paroma Varma. パロマ・ヴァルマ(paroma varma)。 0.48
Frederic Sala. フレデリック・サラ。 0.58
Ann He. Alexander Ratner. アン・ヘ アレクサンダー・ラトナー 0.59
Christopher R´e. クリストファー・R。 0.60
(2019) ”Learning Dependency Structures for Weak Supervision Models”. (2019)「弱スーパービジョンモデルにおける依存構造学習」 0.82
[4] Alexander Ratner. 4] アレクサンダー・ラトナー 0.60
Braden Hancock. ブラデン・ハンコック 0.47
Jared Dunnmon. ジャレッド・ダンモン。 0.33
Frederic Sala. フレデリック・サラ。 0.58
Shreyash Pandey. Shreyash Pandey 0.28
Christopher R´e. クリストファー・R。 0.60
(2018) ”Training Complex Models with Multi-Task (2018)「マルチタスクを用いた複合モデルの学習」 0.60
[5] Emmanuel J. Cand`es. 5] エマニュエル・j・キャンデス 0.44
Xiaodong Li. Xiaodong Li 0.30
Yi Ma. John Wright. Yi Ma! ジョン・ライト。 0.47
”Robust principal component analysis? Robustの主成分分析は? 0.80
” Journal of the ACM. とACMのジャーナルは書いている。 0.56
Vol 58. Issue 11. 58巻。 第11話。 0.50
[6] Alexander Ratner. 6] アレクサンダー・ラトナー 0.58
Stephen H. Bach. スティーブン・H・バッハ。 0.63
Henry Ehrenberg. ヘンリー・エーレンバーグ 0.66
Jason Fries. ジェイソン・フライズ 0.52
Sen Wu. Christopher R´e. セン・ウー。 クリストファー・R。 0.46
”Snorkel: Rapid Training Data Creation with Weak Snorkel: 弱さによる迅速なトレーニングデータ作成 0.81
Blog. Preprint. ブログ。 プレプリント。 0.67
Weak Supervision”. 弱いスーパービジョン」。 0.58
Preprint. Supervision. プレプリント。 スーパービジョン。 0.64
” Preprint. とプレプリント。 0.60
             ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。