論文の概要、ライセンス

# (参考訳) Rationale 抽出によるゼロショット符号混合攻撃スパン同定 [全文訳有]

Zero-shot Code-Mixed Offensive Span Identification through Rationale Extraction ( http://arxiv.org/abs/2205.06119v1 )

ライセンス: CC BY 4.0
Manikandan Ravikiran, Bharathi Raja Chakravarthi(参考訳) 本稿では,コードミキシングタミルデータセットを用いたゼロショット攻撃スパン識別における文レベル変換器の有効性について検討する。 より具体的には、ゼロショット攻撃スパン識別のためのトランスフォーマーに基づく攻撃言語分類モデルに適用するために、局所解釈モデルAgnostic Explanations (LIME) \cite{DBLP:conf/kdd/Ribeir o0G16}およびIntegrated Gradients (IG) \cite{DBLP:conf/icml/Sunda rarajanTY17}の合理的抽出方法を評価する。 この結果、lime と ig はそれぞれ 26.35\% と 44.83\% のベースライン $f_{1}$ を示すことがわかった。 さらに,データセットサイズとトレーニングプロセスがスパン識別の全体的な精度に与える影響について検討した。 その結果, Masked Data Augmentation と Multilabel Training では LIME と IG がそれぞれ 50.23 % と 47.38 % で大きく改善されていることがわかった。 \textit{disclaimer : 本論文は、逸脱、粗悪、または攻撃的と見なすことができる例を含む。 この例は、著者やその雇用主や大学院の、あらゆる人(人)、グループ(人)、実践(人)、実体(人)に対する見解を表すものではない。 代わりに、言語研究の課題のみを強調するために使用される。 }

This paper investigates the effectiveness of sentence-level transformers for zero-shot offensive span identification on a code-mixed Tamil dataset. More specifically, we evaluate rationale extraction methods of Local Interpretable Model Agnostic Explanations (LIME) \cite{DBLP:conf/kdd/Ribeir o0G16} and Integrated Gradients (IG) \cite{DBLP:conf/icml/Sunda rarajanTY17} for adapting transformer based offensive language classification models for zero-shot offensive span identification. To this end, we find that LIME and IG show baseline $F_{1}$ of 26.35\% and 44.83\%, respectively. Besides, we study the effect of data set size and training process on the overall accuracy of span identification. As a result, we find both LIME and IG to show significant improvement with Masked Data Augmentation and Multilabel Training, with $F_{1}$ of 50.23\% and 47.38\% respectively. \textit{Disclaimer : This paper contains examples that may be considered profane, vulgar, or offensive. The examples do not represent the views of the authors or their employers/graduate schools towards any person(s), group(s), practice(s), or entity/entities. Instead they are used to emphasize only the linguistic research challenges.}
公開日: Thu, 12 May 2022 14:32:12 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Zero-shot Code-Mixed Offensive Span Identification through Rationale Rationaleによるゼロショット符号混合攻撃スパン識別 0.64
Extraction Manikandan Ravikiran†∗, Bharathi Raja Chakravarthi‡ ‡Data Science Institute, National University of Ireland Galway 抽出 マニカンダン・ラビキラン*, bharathi raja chakravarthi , data science institute, national university of ireland galway 0.51
†Georgia Institute of Technology, Atlanta, Georgia ジョージア・アトランタ工科大学(georgia institute of technology) 0.58
mravikiran3@gatech.e du, bharathi.raja@insigh t-centre.org mravikiran3@gatech.e du, bharathi.raja@insigh t-centre.org 0.28
2 2 0 2 y a M 2 1 2 2 0 2 y a m 2 1 である。 0.52
] L C . s c [ 1 v 9 1 1 6 0 ]LC。 sc [ 1 v 9 1 1 6 0 0.30
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Abstract This paper investigates the effectiveness of sentence-level transformers for zero-shot offensive span identification on a code-mixed Tamil dataset. 概要 本稿では,コードミキシングタミルデータセットを用いたゼロショット攻撃スパン識別における文レベル変換器の有効性について検討する。 0.49
More specifically, we evaluate rationale extraction methods of Local Interpretable Model Agnostic Explanations (LIME) (Ribeiro et al , 2016a) and Integrated Gradients (IG) (Sundararajan et al , 2017) for adapting transformer based offensive language classification models for zero-shot offensive span identification. より具体的には, 局所的解釈可能なモデル非依存的説明(lime) (ribeiro et al , 2016a) と統合勾配(ig) (sundararajan et al , 2017) の合理的抽出法を評価し, ゼロショット攻撃的スパン識別のためのトランスフォーマに基づく攻撃的言語分類モデルを適用した。
訳抜け防止モード: より具体的には、LIME(Local Interpretable Model Agnostic Explanations)の合理的抽出法を評価する(Ribeiro et al, 2016a)。 and Integrated Gradients (IG ) (Sundararajan et al, 2017) for ゼロに対する変換器に基づく攻撃言語分類モデルの適用 - ショット攻撃スパン識別。
0.81
To this end, we find that LIME and IG show baseline F1 of 26.35% and 44.83%, respectively. この結果、LIME と IG はそれぞれ 26.35% と 44.83% のベースライン F1 を示すことがわかった。 0.67
Besides, we study the effect of data set size and training process on the overall accuracy of span identification. さらに,データセットサイズとトレーニングプロセスがスパン識別の全体的な精度に与える影響について検討した。 0.72
As a result, we find both LIME and IG to show significant improvement with Masked Data Augmentation and Multilabel Training, with F1 of 50.23% and 47.38% respectively. その結果,Musked Data AugmentationとMultilabel Trainingでは,F1が50.23%,IGが47.38%,LIMEとIGがともに有意な改善を示した。 0.73
Disclaimer : This paper contains examples that may be considered profane, vulgar, or offensive. disclaimer: 本論文では, 粗野, 粗悪, または攻撃的とみなされる例を紹介する。 0.63
The examples do not represent the views of the authors or their employers/graduate schools towards any person(s), group(s), practice(s), or entity/entities. この例は、著者やその雇用主や大学院の、あらゆる人(人)、グループ(人)、実践(人)、実体(人)に対する見解を表すものではない。
訳抜け防止モード: 例は、著作者又はその雇用者/大学院のあらゆる人に対する見解を表すものではない。 group(s ) , practice(s ) , or entity / entity
0.84
Instead they are used to emphasize only the linguistic research challenges. 代わりに、言語研究の課題のみを強調するために使用される。 0.63
1 Introduction Offensive language classification and offensive span identification from code-mixed Tamil-English comments portray the same task at different granularities. 1 はじめに コード混合のタミル・イングリッシュコメントからの攻撃的言語分類と攻撃的スパン識別は、異なる粒度で同じタスクを描写する。 0.51
In the former case, we classify if the code mixed sentence is offensive or not, while the latter concentrates on extracting the offensive parts of the comments. 前者の場合、コード混合文が攻撃的か否かを分類し、後者はコメントの攻撃的部分を抽出することに集中する。
訳抜け防止モード: 前者の場合、コード混合文が攻撃的であるか否かを分類する。 後者はコメントの 攻撃的な部分の抽出に集中しています
0.60
Accordingly, one could do the former using models of the latter and vice versa. したがって、後者のモデルと逆のモデルを使って前者ができる。 0.71
Transformer-based architectures such as BERT (Devlin et al , 2019), RoBERTa (Liu et al , 2019) and XLM-RoBERTa (Conneau et al , 2020) have achieved state-of-the-art results on both these tasks (Chakravarthi et al , 2021a). BERT (Devlin et al , 2019)、RoBERTa (Liu et al , 2019)、XLM-RoBERTa (Conneau et al , 2020)といったトランスフォーマーベースのアーキテクチャは、どちらも最先端の成果を上げている(Chakravarthi et al , 2021a)。 0.75
However, often ∗Corresponding Author しかし、しばしば ∗ 対応作者 0.70
these tasks are treated as independent and model development is often separated. これらのタスクは独立して扱われ モデル開発はしばしば分離されます 0.79
This paper studies the rationale extraction methods for inferring offensive spans from transformer models trained only on comment-level offensive language classification labels. 本稿では,コメントレベル攻撃言語分類ラベルのみに基づいて学習したトランスフォーマーモデルから攻撃範囲を推定するための合理的抽出手法について検討する。 0.55
Such an idea is often vital in the case of code-mixed Tamil-English comments for which span annotations are often costly to obtain, but comment-level labels are readily available. このような考えは、アノテーションが入手するのにコストがかかるコード混合のタミル・イングリッシュコメントの場合、しばしば必要となるが、コメントレベルのラベルは容易に入手できる。 0.61
Besides, such an approach will also help in decoding the models’ logic behind the prediction of offensiveness. さらに、このようなアプローチは、攻撃性の予測の背後にあるモデルのロジックをデコードするのに役立つ。 0.63
Accordingly, we evaluate and compare two different methods, namely LIME and IG, for adapting pre-trained transformer models into zero-shot offensive span labelers. そこで本研究では,プリトレーニングトランスフォーマモデルをゼロショット攻撃スパンラベラーに適用するための2つの手法,limeとigを比較し,比較した。 0.57
Our experiments show that using LIME with pre-trained transformer models struggles to infer correct span level annotations in a zero-shot manner, achieving only 20% F1 on offensive span identification for code-mixed TamilEnglish comments. 本実験では,事前学習したトランスフォーマモデルを用いたlimeを用いた場合,正しいスパンレベルのアノテーションをゼロショットで推測することは困難であり,コード混合タミル英語コメントに対する攻撃的スパン識別では20%のf1を達成した。 0.53
To this end, we find that a combination of masked data augmentation and multilabel training of sentence transformers helps to better focus on individual necessary tokens and achieve a strong baseline on offensive span identification. この目的のために,仮面データ拡張と文変換器のマルチラベル訓練の組み合わせによって,個々のトークンの集中度が向上し,攻撃的スパン識別において強力なベースラインが得られることを見出した。 0.64
Besides, IG consistently surpasses LIME even in cases where there are no data augmentation or multilabel training. さらに、データ拡張やマルチラベルのトレーニングがない場合でも、IGはLIMEを一貫して上回ります。 0.51
Overall the contributions of this paper are as follows. 概して、この論文の貢献は次のとおりである。 0.69
• We introduce preliminary experiments on offensive language classification transformer models for zero-shot offensive span identification from code-mixed Tamil-English language comments. • コードミキシングタミル・イングリッシュ言語コメントからのゼロショット攻撃スパン識別のための攻撃言語分類変換モデルに関する予備実験を紹介する。 0.78
• We systematically compare LIME and IG methods for zero-shot offensive span identification. • ゼロショット攻撃スパン識別のためのLIME法とIG法を系統的に比較する。 0.58
• We study the impact of data and training process on offensive span identification by •攻撃的スパン識別におけるデータとトレーニングプロセスの影響について検討する。 0.75
英語(論文から抽出)日本語訳スコア
proposing masked data augmentation and multilabel training. マスク付きデータ拡張と マルチラベルトレーニングの提案 0.77
• We further release our code, models, and data • コード、モデル、データをさらにリリースします。 0.72
to facilitate further research in the field1. フィールド1のさらなる研究を促進するためです 0.81
The rest of the paper is organized as follows. 残りの論文は以下の通り整理される。 0.66
In Section 2, we present LIME and IG methods in brief. 第2節ではLIME法とIG法について簡潔に述べる。 0.51
Meanwhile section 3 and 4 focus on dataset and experimental setup. 一方、第3部と第4部はデータセットと実験的な設定に焦点を当てている。 0.49
In section 5, we present detailed experiments and conclude in section 6 with our findings and possible implications on the future work. 第5節では,詳細な実験を行い,第6節で結論付け,今後の課題への示唆について述べる。 0.73
2 Methods In this section, we present the two rationale extraction methods LIME and IG used to turn sentencelevel transformer models into zero-shot offensive span labelers. 2つの方法 本稿では,文レベルのトランスフォーマーモデルをゼロショット攻撃スパンラベラーに変換するための2つの合理的抽出手法limeとigを提案する。 0.63
2.1 Local Interpretable Model Agnostic 2.1 局所解釈可能なモデル非依存 0.44
Explanation (LIME) LIME (Ribeiro et al , 2016b) is a model agnostic interpretability approach that generates word-level attribution scores using local surrogate models that are trained on perturbed sentences generated by randomly masking out words in the input sentence. 解説(LIME) lime (ribeiro et al , 2016b) は、入力文中の単語をランダムにマスキングして生成された摂動文に基づいて学習される局所サロゲートモデルを用いて、単語レベルの帰属スコアを生成するモデル非依存解釈可能性アプローチである。 0.68
The LIME model has seen considerable traction in the context of rationale extraction for text classification, including work by Thorne et al (2019), which suggests that LIME outperforms attention-based approaches to explain NLI models. LIMEモデルは、Thorne et al (2019)などテキスト分類における有理抽出の文脈において、かなりの牽引力を発揮しており、これは、LIMEがNLIモデルを説明するために注意に基づくアプローチより優れていることを示唆している。 0.56
LIME was also used to probe an LSTM based sentence-pair classifier (Lan and Xu, 2018) by removing tokens from the premise and hypothesis sentences separately. LIMEはまた、LSTMに基づく文ペア分類器(Lan and Xu, 2018)を前提文と仮説文から別々に取り除いて調査するためにも使用された。 0.72
The generated scores are used to perform binary classification of tokens, with the threshold based on F1 performance on the development set. 生成されたスコアはトークンのバイナリ分類に使用され、開発セットのf1パフォーマンスに基づいたしきい値が設定される。
訳抜け防止モード: 生成されたスコアが使用される トークンのバイナリ分類を行う 開発セットのF1パフォーマンスに基づいたしきい値で。
0.81
The token-level predictions were evaluated against human explanations of the entailment relation using the e-SNLI dataset (Camburu et al , 2018). トークンレベルの予測は、e-snliデータセット(camburu et al , 2018)を用いて人間の説明に対して評価された。 0.54
Meanwhile, for offensive span identification in English Ding and Jurgens (2021) coupled LIME with RoBERTa trained on an expanded training set to find expanded training set could help RoBERTa more accurately learn to recognize toxic span. 一方、英語のDing and Jurgens(2021年)では、LIMEとRoBERTaを併用して、拡張されたトレーニングセットを見つけ、RoBERTaが有毒なスパンの認識をより正確に学べるようにした。 0.61
However, though LIME outperforms other methods, it is significantly slower than Integrated Gradients methods, presented in the next section. しかし、LIMEは他の手法よりも優れているが、次節で示す統合勾配法よりもかなり遅い。 0.59
1The at https://github.com/m anikandan-ravikiran/ zero-shot-offensive- span 1世 at https://github.com/m anikandan-ravikiran/ zero-shot-offensive- span 0.34
is made available 作られています 利用可能 0.51
code and data コード そして データ 0.76
Integrated Gradients (IG) 2.2 Integrated Gradients (Sundararajan et al , 2017) focuses on explaining predictions by integrating the gradient along some trajectory in input space connecting two points. 統合勾配(IG) 2.2 統合勾配 (sundararajan et al , 2017) は、2点を結ぶ入力空間のいくつかの軌道に沿って勾配を統合することによって予測を説明することに焦点を当てている。
訳抜け防止モード: 統合勾配(IG) 2.2統合勾配(sundararajan et al, 2017) 2点を結ぶ入力空間において、ある軌道に沿って勾配を積分することで予測を説明する。
0.69
Integrated gradient and its variants are widely used in different fields of deep learning including natural language processing (Sikdar et al , 2021). 積分勾配とその変種は、自然言語処理を含むディープラーニングの様々な分野で広く使われている(Sikdar et al , 2021)。 0.75
Specifically, it is an iterative method, which starts with so-called starting baselines, i.e., a starting point that does not contain any information for the model prediction. 具体的には、これは反復的な方法であり、いわゆる開始ベースライン、すなわちモデル予測に関する情報を含まない出発点から始まります。
訳抜け防止モード: 具体的には、開始ベースラインと呼ばれるsoから始まる反復的なメソッドである。 出発点です モデル予測に関する情報は含まれていません
0.80
In our case involving textual data, this is the set exclusively with the start and end tokens. テキストデータを含む私たちのケースでは、これは開始と終了のトークンを排他的に含むセットです。 0.67
These tokens mark the beginning and the end of a sentence and do not give any information about whether the evaluation is offensive or not. これらのトークンは文の開始と終了をマークし、評価が攻撃的であるか否かに関する情報は提供しない。 0.73
Following this, it takes a certain number of iterations, where the model moves from the starting baseline to the actual input to the model. これに続いて、モデルが開始ベースラインから実際の入力へと移行する、ある程度のイテレーションが必要になります。
訳抜け防止モード: これに続き、一定の回数の反復を要し、そこでは モデルは開始ベースラインからモデルへの実際の入力へと移動します。
0.83
This iterative improvement approach is analogous to the sentence creation process wherein each step, we create the sentence word by word and calculate the offensiveness, which in turn gives us the attribution of the input feature. この反復的改善アプローチは文生成プロセスと類似しており、各ステップで文語を作成し、攻撃性を計算することで、入力特徴の属性が得られます。
訳抜け防止モード: この反復的改善アプローチは、各ステップにおいて文生成プロセスと類似している。 文語を単語ごとに作成し、攻撃性を計算する。 その結果、入力機能の帰属が得られます。
0.72
Across its iterations, whenever IG includes an offensive word, we can expect offensive classification prediction to swing more towards offensive class and vice versa. その繰り返しの中で、IGが攻撃的な単語を含むたびに、攻撃的な分類予測が攻撃的なクラスに振られ、その逆も期待できる。 0.58
Such behavior will help calculate the attribution of each word in the identified sentence. このような振る舞いは、特定された文中の各単語の属性を計算するのに役立つ。 0.54
3 Datasets In this section, we present various datasets used in this study. 3つのデータセット 本稿では,本研究で使用する各種データセットについて述べる。 0.61
Details on how they are used across different experiments are presented in Table 3. 異なる実験でどのように使用されるかの詳細は、Table 3で示されています。 0.67
Finally, the overall dataset statistics are as shown in Table 1. 最後に、全体のデータセット統計はテーブル1に示されている。 0.77
3.1 Offensive Span Identification Dataset The Shared task on Offensive Span Identification from Code-Mixed Tamil English Comments (Ravikiran and Annamalai, 2021) focuses on the extraction of offensive spans from Youtube Comments. 3.1 offensive span identification dataset the shared task on offensive span identification from code-mixed tamil english comments (ravikiran and annamalai, 2021)は、youtubeのコメントから攻撃的スパンを抽出することに焦点を当てている。 0.71
The dataset contains 4786 and 876 examples across its train and test set respectively. データセットには、それぞれ列車とテストセットの4786と876のサンプルが含まれている。 0.67
It consists of annotated offensive spans indicating character offsets of parts of the comments that were offensive. これは、攻撃的なコメントの一部の文字オフセットを示す注釈付き攻撃スパンで構成されている。 0.57
3.2 Masked Augmented Dataset The data available from both Ravikiran and Annamalai (2021) is minimal, and transformer methods 3.2 Masked Augmented Dataset Ravikiran と Annamalai (2021) から入手可能なデータは最小限であり、トランスフォーマー方式である。 0.79
英語(論文から抽出)日本語訳スコア
Dataset Offensive Span Identification Dataset データセット 攻撃的スパン識別データセット 0.60
Mask Augmented Dataset マスク拡張データセット 0.69
Multilabel Dataset マルチラベルデータセット 0.59
Number of Train Samples Number of Test Samples 数 列車のサンプル テストサンプルの数 0.69
Offensive Language Classification Offensive Span Identification 攻撃的言語 分類 攻撃的スパン識別 0.55
4786 109961 109961 4786 109961 109961 0.43
876-    876-    0.41
   Table 1: Dataset statistics of various datasets used in this work.    表1: この作業で使用されるさまざまなデータセットのデータセット統計。 0.61
Steps Offensive Lexicon Creation ステップ 攻撃的レキシコン生成 0.62
Data Sourcing Mask Generation データソーシング マスク生成 0.66
Offensive Word Augmentation Position Identification 不快な言葉の加減 位置識別 0.63
and Multilabel Creation そして マルチラベル作成 0.74
[sanghu, thu,thooooo,suthamm, F**k,flop,w*f, p**a,n**y,nakkal] 【sanghu, thu,thooooo,suthamm, f**k,flop,w*f,p**a,n **y,nakkal】 0.41
Example Output Last scene vera level love u 例 アウトプット ラストシーン「Vera level love u」 0.66
[Last, scene, vera, level, love,u] [ラスト、シーン、ヴェラ、レベル、ラブ、u] 0.59
[0,1, 0, 0, 1,1] [1,0, 1, 1, 1,1] [0,0, 0, 0, 1,1] [0,1, 0, 0, 1,1] [1,0, 1, 1, 1,1] [0,0, 0, 0, 1,1] 0.41
[Last, sangh, vera, level, thu, n**y] 【最後、サング、ベラ、レベル、thu、n**y】 0.60
[flop, scene, thooooo, suthamm, F**k, sanghu] [フロップ、シーン、トウ、サタム、F**k、サング] 0.58
[Last, scene, p**a, n**y, love, u] [ラスト,シーン,p**a,n**y,ラブ,u] 0.69
Last sangh vera level thu n**y [1,0,1] 最後のサングベラレベル thu n**y [1,0,1] 0.77
flop scene thooooo suthamm F**k sanghu [1,1,1] フラップシーン thooooo suthamm f**k sanghu [1,1,1] 0.71
Last scene p**a n**y love u [0,1,0] 最後のシーン p**a n**y love u [0,1,0] 0.42
Table 2: Various steps in Masked Augmented Dataset and Multilabel Dataset creation with sample outputs. 表2: サンプル出力によるMasked Augmented DatasetとMultilabel Datasetの生成におけるさまざまなステップ。 0.84
are sensitive to dataset size (Xu et al , 2021). データセットのサイズに敏感である(Xu et al , 2021)。 0.80
Thus we created an additional dataset using Masked Augmentation. そこでマスキング拡張を用いた追加データセットを作成しました。 0.61
Accordingly, the data is generated by using the following steps. これにより、以下のステップを用いてデータを生成する。 0.74
• Step 1: Offensive Lexicon Creation: First, we create an offensive lexicon from the train set of offensive span identification datasets. • ステップ1: 攻撃的レキシコン生成: まず、攻撃的スパン識別データセットの列車セットから攻撃的レキシコンを作成する。 0.57
To do this, we do following そのため、以下に示す。 0.39
– Extract the phrases corresponding to annotated offensive spans from the training dataset of Ravikiran and Annamalai (2021). -RavikiranとAnnamalai(2021年)のトレーニングデータセットから注釈付き攻撃文に対応する句を抽出する。 0.74
– Selecting phrases of size less than 20 characters and word tokenizing them to extract the individual words. -サイズが20文字未満の句を選択し、単語をトークン化して個々の単語を抽出する。 0.71
– Manually, post-processing these words to ignore words that are not offensive. 手動でこれらの単語を処理して、攻撃的でない単語を無視する。 0.53
For example, many phrases include conjunctions and pronouns which are not directly offensive. 例えば、多くの句は直接攻撃的でない接続詞や代名詞を含む。 0.65
Accordingly, an offensive lexicon with 2900 tokens is created. これにより、2900のトークンを持つ攻撃的レキシコンが作成される。 0.55
• Step 2: Data Sourcing: In this step, we select the dataset used for creating the Masked Augmented dataset. • ステップ2: データソーシング: このステップでは、Masked Augmentedデータセットを作成するために使用されるデータセットを選択します。 0.77
Specifically, we use the 25425 non-offensive comments from Dravidian Code-Mix dataset (Chakravarthi et al , 2021b). 具体的には dravidian code-mix dataset (chakravarthi et al , 2021b) からの25425の非検閲コメントを使用する。 0.60
• Step 3: Mask Generation: The mask gener- •ステップ3:マスク生成:マスクジェネレータ 0.68
ation is done as follows イオン化は次のとおりである。 0.29
– Each of 25425 non-offensive comments was tokenized to create respective maskable token list. - 25425件の非違反コメントがそれぞれトークン化され、それぞれのマスク可能なトークンリストが作成される。 0.52
– Three random binary masks are generated for each of the tokenized nonoffensive comments. トークン化された非検閲コメント毎に3つのランダムバイナリマスクが生成される。 0.57
These binary masks have same length as that of its maskable token list. これらのバイナリマスクは、マスク可能なトークンリストと同じ長さである。 0.69
• Step 4: Offensive Word Augmentation: Finally, words with a corresponding binary mask of 1 are replaced with words randomly selected from the offensive lexicon from step 1. •ステップ4:攻撃的単語増強:最後に、ステップ1から攻撃的語彙からランダムに選択された単語に、対応するバイナリマスク1の単語を置き換える。 0.78
Additionally, the spans corresponding to the words that were replaced are saved. また、置換された単語に対応するスパンが保存される。 0.68
Overall, such augmentation resulted in 109961 comments, with 75009 being offensive comments and 34952 non-offensive comments. 総じて109961コメントが増加し、75009が攻撃的コメント、34952が非攻撃的コメントとなった。 0.60
Table 2 shows an example sentence and masked augmented dataset creation process. 表2はサンプル文とマスク付きデータセット作成プロセスを示す。 0.77
3.3 Multilabel Dataset All the previously mentioned datasets are restricted to classification only i.e. they contain a binary label indicating if they are offensive or they have annotated offensive spans. 3.3 multilabelデータセット 前述したすべてのデータセットは、分類のみに限定されている。
訳抜け防止モード: 3.3 マルチラベルデータセット 前述したデータセットは分類のみに限定される。 攻撃的か 注釈付き攻撃的かの 2つのラベルがある
0.69
Additionally, these sentences does not explicitly encode any position information of the offensive words, which is useful for さらに、これらの文は攻撃的な単語の位置情報を明示的にエンコードしていない。 0.66
英語(論文から抽出)日本語訳スコア
Experiment Name Benchmark OS-Baseline 実験名 ベンチマークosベースライン 0.59
OS-Augmentation OS-Multilabel OS強化 osマルチラベル 0.48
Train dataset Test dataset 列車データセット テストデータセット 0.74
Offensive Span Identification Dataset (Ravikiran and Annamalai, 2021; Ravikiran et al , 2022) Dravidian CodeMix (Chakravarthi et al , 2021b) offensive span identification dataset (ravikiran and annamalai, 2021; ravikiran et al , 2022) dravidian codemix (chakravarthi et al , 2021b)
訳抜け防止モード: 攻撃的スパン識別データセット(raviran and annamalai, 2021); ravikiran et al 2022 ) ドラヴィダ符号混合(chakravarthi et al , 2021b)
0.77
Mask Augmented Dataset マスク拡張データセット 0.69
Multilabel Dataset マルチラベルデータセット 0.59
Offensive Span Identification Dataset 攻撃的スパン識別 データセット 0.62
Table 3: Relationship between the datasets and experiments. 表3: データセットと実験の関係。 0.73
Name γ max seq length train batch size eval batch size warmup ratio learning rate weight decay 名称 γ マックス・セック 列車 バッチサイズ エバル バッチサイズ ウォームアップ比 学習率 重量減少 0.57
initializer Value 0.1 150 64 64 0.1 3x10−5 0.1 glorot 初期化 値0.115064640.13x10−50.1ニンジン 0.62
Table 4: Model Hyperparameters for Training Transformers. 表4: トランスフォーマーのトレーニング用モデルハイパーパラメータ。 0.84
training. Work of Ke et al (2021) show encoding relative positional information based attention directly in each head often improves the overall result of corresponding down stream task. 訓練だ ke et al (2021) の作業は、相対的な位置情報に基づく注意を各頭部に直接エンコードすることで、対応するダウンストリームタスクの全体的な結果を改善する。 0.68
Similarly Shaw et al (2018) also proposed using relative position encoding instead of absolute position encoding and couple them with key and value projections of Transformers to improve overall results. 同様にShaw et al (2018) も絶対位置エンコーディングの代わりに相対位置エンコーディングを用いてトランスフォーマーのキーおよび値プロジェクションと組み合わせて全体の結果を改善することを提案した。 0.74
As such, in this work, to encode position we create a multilabel dataset in which the labels indicate the relative position of offensive words. このように、この研究において、位置を符号化するために、ラベルが攻撃的な単語の相対的な位置を示すマルチラベルデータセットを作成する。 0.64
The multilabel dataset is created as follows. マルチラベルデータセットは次のように作成される。 0.84
• Step 1: Dataset Selection: We first select the 109961 comments from the Masked Augmented Dataset along with their saved spans. • ステップ1: データセットの選択: Masked Augmented Datasetからの109961コメントと保存されたスパンを最初に選択します。 0.75
• Step 2: Position Identification and Multilabel Creation: From the identified spans, we check if the offensive spans are present in • ステップ2: 位置同定とマルチラベル作成: 特定されたスパンから、攻撃スパンが存在するかどうかを確認する。 0.69
(a) start of the comment (a)コメントの開始 0.68
(b) end of the comment and (b)コメントの終了及び 0.71
(c) middle of the comment. (c)コメントの途中で。 0.72
Depending on presence of offensiveness we create three binary labels. 攻撃性の有無によって、3つのバイナリラベルを作成します。 0.44
For example in Table 2 for sentence Last scene p**a n**y love u we can see that the offensive word to be present in the center of the sentence. 例えば、最後のシーン p**a n**y love u の表 2 では、攻撃的な単語が文の中心に存在することが分かる。
訳抜け防止モード: 例えば、表 2 for sentence 最後のシーン p**a n**y love u では、それを見ることができます。 文の中心にある 攻撃的な言葉です
0.73
Accordingly we give it a label [0,1,0]. したがってラベル [0,1,0] を与えます。 0.72
Meanwhile for comment Last sangh vera level thu n**y we can see offensive words to be in center and at the end thus we give label [1,0,1]. コメントを控えて、Last sangh vera level thu n**y では、攻撃的な単語が中心であり、最後にラベルを与えます [1,0,1]。 0.72
4 Experimental Setup In this section, we present our experimental setup in detail. 4 実験的なセットアップ この節では、実験的なセットアップを詳細に紹介する。 0.73
All of our experiments follow the two steps as explained below. 私たちの実験はすべて、下記の2つのステップに従っています。 0.62
Transformer Training: We use three different transformer models, namely Multilingual-BERT, RoBERTa, and XLM-RoBERTa, made available by Hugging Face (Wolf et al , 2019), as our transformer architecture due to their widespread usage in the context of code-mixed Tamil-English Offensive Language Identification. Transformer Training: 私たちは、Hugging Face(Wolf et al , 2019)が利用可能なMultilingual-BERT、RoBERTa、XLM-RoBERTaという3つのトランスフォーマーモデルを、コードミキシングされたTamil- English Offensive Language Identificationの文脈で広く使用されているため、トランスフォーマーアーキテクチャとして使用しています。 0.66
In line with the works of Mosbach et al (2021) all the models were fine-tuned for 20 epochs, and the best performing checkpoint was selected. モスバッハらの作品(2021年)に従って、全てのモデルが20エポックで微調整され、最高のチェックポイントが選択された。 0.75
Each transformer model takes 1 hour to train on a Tesla-V100 GPU with a learning rate of 3x10−5. 各トランスモデルは、Tesla-V100 GPUで3x10−5の学習速度でトレーニングするのに1時間かかる。
訳抜け防止モード: 各トランスモデルは1時間かかります Tesla - V100 GPUで3x10−5の学習レートでトレーニングする。
0.73
Further, all of our experiments were run five times with different random seeds and the results so reported are an average of five runs. さらに、実験はすべて無作為な種子で5回実施され、その結果は平均して5回実施されました。 0.73
The relationship between the datasets used to train the transformers across various experiments is as shown in Table 各種実験におけるトランスフォーマーのトレーニングに用いるデータセットの関係は表に示すとおりである 0.84
3. Meanwhile, the model hyperparameters are presented in Table 3.一方、モデルハイパーパラメーターは表に示される 0.81
4. Span Extraction Testing: After training the transformer models for offensive language identification, we use the test set from the offensive span identification dataset for testing purposes. 4.スパン抽出テスト:攻撃的言語識別のためのトランスフォーマーモデルをトレーニングした後、テスト目的で攻撃的スパン識別データセットからテストセットを使用する。 0.77
For LIME, we use individual transformer models’ MASK token to mask out individual words and allow LIME to generate 5000 masked samples per sentence. LIMEでは、個々のトランスフォーマーモデルのMASKトークンを使用して個々の単語をマスキングし、LIMEが文毎に5000のマスキングサンプルを生成する。 0.72
The resulting explanation weights are then used as scores for each word, and tokens below the fixed decision threshold of τ = −0.01 are removed while the spans of the rest of the comments are used for offensive span identification. 得られた説明重みは各単語のスコアとして使用され、τ = −0.01の固定決定しきい値以下のトークンは削除され、残りのコメントのスパンは攻撃的スパン識別に使用される。 0.74
Meanwhile, for the IG model, for each sentence in the test set, we perform 50 iterations to generate scores for each word and extract the spans in line with LIME. 一方、igモデルでは、テストセットの各文に対して50回の反復を行い、各単語のスコアを生成し、そのスパンをライムに合わせて抽出する。 0.69
5 Experiments, Results and Analysis The consolidated results are presented in Table 5 実験、結果、分析 統合された結果が表に表される 0.84
5. Each model is trained as an offensive comment classifier and then evaluated for offensive span identification. 5.各モデルは攻撃的コメント分類器として訓練され、攻撃的スパン識別のために評価される。
訳抜け防止モード: 5.各モデルは攻撃的コメント分類器として訓練される そして攻撃的スパン識別を 評価しました
0.71
Though we do not explicitly furnish any 明確には提供していませんが 0.48
英語(論文から抽出)日本語訳スコア
Experiments Model F1(%) 実験 モデル F1(%) 0.68
LIME IG Benchmark ライム イグ ベンチマーク 0.47
OS-Baseline OS-Augmentation OSベースライン OS強化 0.62
OS-Multilabel BENCHMARK 1 BENCHMARK 2 osマルチラベル benchmark 1 benchmark 2 ベンチマーク 0.36
BERT RoBERTa XLM-RoBERTa バート ロベルタ XLM-RoBERTa 0.42
BERT RoBERTa XLM-RoBERTa バート ロベルタ XLM-RoBERTa 0.42
BERT RoBERTa XLM-RoBERTa バート ロベルタ XLM-RoBERTa 0.42
39.834 37.024 39.834 37.024 0.25
26.35 24.26 22.86 24.97 26.23 21.93 47.137 47.38 46.76 26.35 24.26 22.86 24.97 26.23 21.93 47.137 47.38 46.76 0.21
44.83 37.01 43.13 44.83 44.98 50.23 44.83 35.83 42.06 44.83 37.01 43.13 44.83 44.98 50.23 44.83 35.83 42.06 0.21
Table 5: Consolidated Results on Offensive Span Identification Dataset. 表5:攻撃的スパン識別データセットの統合結果。 0.72
All the values represent character level F1 measure. すべての値は文字レベルF1測度を表す。 0.81
signals regarding which words are offensive, we can see an assortment of behaviors across both the rationale extraction methods when trained differently. どの単語が攻撃的であるかの信号は 理性抽出法を 別々に訓練すると 行動の仕方を見ることができます 0.74
For reference comparison, we also include two benchmark baseline models from Ravikiran et al (2022). 参照比較には、Ravikiran et al (2022) のベンチマークベースラインモデルも2つ含んでいる。 0.73
BENCHMARK 1 is a random baseline model which haphazardly labels 50% of characters in comments to belong to be offensive inline. benchmark 1はランダムなベースラインモデルで、コメント中の文字の50%を不快なインラインに属するようにラベル付けする。 0.61
BENCHMARK 2 is a lexicon-based system, which first extracted all the offensive words from the train samples of offensive span identification dataset (Ravikiran and Annamalai, 2021). BENCHMARK 2は、攻撃的スパン識別データセット(Ravikiran and Annamalai, 2021)の列車サンプルから全ての攻撃的な単語を抽出したレキシコンベースのシステムである。 0.73
These words were scoured in comments from the test set during inference, and corresponding spans were noted. これらの単語は、推論中にテストセットからコメントされ、対応するスパンに注意された。 0.62
We report the character level F1 for extracted spans inline with Ravikiran et al (2022). 抽出されたスパンの文字レベルf1をravikiran et al (2022) とインラインで報告する。 0.59
5.1 OS-Baseline Experiments Firstly, both benchmarks exhibit high performance, making the task competitive for LIME and IG methods. 5.1 OSベースラインの実験 まず、両方のベンチマークは高い性能を示し、LIMEおよびIGメソッドと競合する。 0.64
To start with, we analyze the results of OS-Baseline experiments. まず,OS-Baseline実験の結果を分析した。 0.70
From Table 5, we can see that LIME has moderately low performance compared to IG, which either beats the baseline or produces very close results. 表5から、LIMEはベースラインを上回り、非常に近い結果をもたらすIGと比較して、適度にパフォーマンスが低いことが分かります。 0.61
Analogizing the LIME and IG, we can see that IG has an average difference of 18% compared to LIME. LIME と IG を解析すると、IG の平均差が LIME と比較すると 18% であることがわかる。 0.77
To understand this, we identify various examples (Table 7) where LIME fails, and IG performs significantly well and vice versa. これを理解するために、LIME が失敗する様々な例 (Table 7) を特定し、IG は極めてよく機能する。
訳抜け防止モード: これを理解するために。 LIMEが失敗するさまざまな例(表7)を特定します。 IGは極めてよく機能します。
0.67
Firstly, we can see that LIME explicitly focuses on identifying overtly offensive words only. まず、LIMEが強調するのは、過度に攻撃的な単語のみを識別することである。 0.51
Besides, we can also see LIME focuses primarily on offensive words, while IG accounts for terms such as "Dei", "understood", "iruku poliye" etc. また、LIMEが主に攻撃的な単語に焦点を当てているのに対し、IGは「Dei」「Ununderstood」「iruku poliye」などの用語を記述している。 0.66
Accordingly, to comprehend their performance それゆえ 彼らのパフォーマンスを理解するには 0.61
on offensive comments of different sizes, we separate results across 異なる大きさの攻撃的なコメントで 結果を分けます 0.77
(a) comments with less than 30 characters (F1@30), (a)30文字未満のコメント(f1@30) 0.69
(b) comments with 30-50 characters (F1@50) (b)30-50文字のコメント(F1@50) 0.90
(c) comments with more than 50 characters (F1@>50). (c)50文字以上のコメント(F1@>50)。 0.75
The results so obtained are as shown in Table 6. 得られた結果は表6に示すとおりである。 0.90
Accordingly, we find interesting outcomes. したがって、興味深い結果が得られます。 0.61
Firstly we can see that though LIME has lower F1 overall, it tends to show competitive results against IG for comments with less than 30 characters. まず、LIMEは全体的にF1を下げているが、30文字未満のコメントに対してIGと競合する結果を示す傾向にある。 0.68
With the increase in the comment length, the performance of LIME tends to lower considerably. コメント長の増加に伴い、LIMEの性能は大幅に低下する傾向にある。 0.58
We believe such behavior of LIME could be because of two reasons LIMEのこのような行動は2つの理由から考えられる。 0.79
(a) surrogate models may not be strong enough to distinguish different classes and (a)代理モデルは、異なるクラスを区別できるほど強くないかもしれない。 0.66
(b) dilution of scores due to LIME’s random perturbation procedure. (b)limeのランダムな摂動手順によるスコアの希釈。 0.58
With random perturbations, the instances generated may be quite different from training instances drawn from the underlying distribution. ランダムな摂動では、生成されたインスタンスは、基礎となる分布から引き出されたトレーニングインスタンスとは全く異なるかもしれない。 0.51
Meanwhile, IG is compatible across all the sizes, and in the case of comments with less than 30 and 50 characters, we can see IG to show the result as high as 50%. 一方、igはすべてのサイズで互換性があり、30文字から50文字未満のコメントの場合、igは最大50%の結果を表示することができる。 0.54
5.2 OS-Augmentation Experiments 5.2 OS拡張実験 0.61
Since transformers are very sensitive to dataset size, we focus on estimating the impact of dataset size used to train the transformers for offensive comment classification on the performance of LIME and IG, respectively. 変換器はデータセットサイズに非常に敏感であるため,LIMEとIGのパフォーマンスに対する攻撃的コメント分類のための変換器のトレーニングに用いるデータセットサイズの影響を推定することに注力する。 0.73
To this end, we used the Mask Augmented dataset to finetune the transformers and pose the question Does adding data make any difference? この目的のために、私たちはMask Augmentedデータセットを使用して、トランスフォーマーを微調整し、疑問を提起しました。 0.67
The various result so obtained are as shown in Table 5. 得られた各種結果は、表5に示すとおりである。 0.85
Firstly, for LIME, we see no such drastic difference in F1. まず、LIME の場合、F1 にそのような劇的な違いは見られない。 0.63
However, for IG, we can see a significant improvement, especially for RoBERTa and XLM-RoBERTa models. しかし、IGでは特にRoBERTaモデルとXLM-RoBERTaモデルにおいて大きな改善が見られる。 0.72
Specifically, we can see the XLM-RoBERTa model to reach an accuracy of 50.23% with an average of 12% higher results compared to benchmark models and 7% compared to OS-Baseline. 具体的には、XLM-RoBERTaモデルが50.23%の精度に達し、ベンチマークモデルよりも平均12%、OS-Baselineより7%高い結果が得られる。 0.74
Furthermore, analysis of results shows a couple of fascinating characteristics for XLM-RoBERTa. さらに,XLM-RoBERTaにはいくつかの特性が認められた。 0.58
Firstly, we could see many predictions concentrating on words part of the long offensive span annotations. 第一に、長い攻撃的スパンアノテーションの一部である単語に集中する多くの予測を見ることができる。 0.65
We believe this is because of the ability of the model to learn relations between words in different languages as part of its pretraining, which is not the case with M-BERT and RoBERTa. これは、M-BERT や RoBERTa には当てはまらない、事前訓練の一環として、異なる言語の単語間の関係を学習するモデルの能力が原因であると信じている。 0.78
To verify this again, we separate the results across different comment sizes. これを再検証するために、異なるコメントサイズで結果を分離する。 0.72
From Table 6 we can see that 表6からそれを見ることができます。 0.61
英語(論文から抽出)日本語訳スコア
Experiments OS-Baseline 実験 OSベースライン 0.71
OS-Augmentation OS-Multilabel OS強化 osマルチラベル 0.48
Model BERT RoBERTa モデルバート ロベルタ 0.51
XLM-RoBERTa XLM-RoBERTa 0.29
XLM-RoBERTa XLM-RoBERTa 0.29
XLM-RoBERTa XLM-RoBERTa 0.29
BERT RoBERTa BERT バート ロベルタ バート 0.47
RoBERTa F1@30 (%) LIME IG 45.79 47.02 36.42 37.35 51.7 43.05 48.45 45.79 45.86 50.21 59.47 31.19 45.79 45.7 45.86 58.66 59.84 59.47 ロベルタ F1@30 (%) LIME IG 45.79 47.02 36.42 37.35 51.7 43.05 48.45 45.79 45.86 50.21 59.47 31.19 45.79 45.7 45.86 58.66 59.84 59.47 0.38
F1@50 (%) LIME IG 50.62 32.54 42.04 32.75 48.69 31.54 32.62 50.62 50.71 32.71 57.01 27.58 50.62 57.15 50.71 57.19 57.62 57.01 F1@50 (%) LIME IG 50.62 32.54 42.04 32.75 48.69 31.54 32.62 50.62 50.71 32.71 57.01 27.58 50.62 57.15 50.71 57.19 57.62 57.01 0.25
F1@ > 50 (%) LIME IG 42.48 23.27 34.95 20.56 40.49 18.63 21.29 42.48 42.66 22.8 47.19 19.17 42.48 42.722 42.66 47.19 F1@ > 50 (%) LIME IG 42.48 23.27 34.95 20.56 40.49 18.63 21.29 42.48 42.66 22.8 47.19 19.17 42.48 42.722 42.66 47.19 0.26
43 42.95 Table 6: Results across different size of comments. 43 42.95 表6: 異なるサイズのコメントに対する結果。 0.57
Category Correct Prediction カテゴリー 正確な予測 0.53
Incorrect Prediction Comment Type 誤った予測 コメントタイプ 0.72
Comments with less than 30 characters 30文字未満のコメント 0.63
Comments with 30-50 characters 30-50文字によるコメント 0.63
Comments with greater than 50 characters 50文字以上のコメント 0.60
Comments with less than 30 characters 30文字未満のコメント 0.63
Comments with 30-50 characters 30-50文字によるコメント 0.63
Comments with greater than 50 characters 50文字以上のコメント 0.60
Examples Dei like poda anaithu 9 p***a Semma mokka and as usual a masala movie M***u adichutu sagunga da j***i p***********a 81k views 89k likes YouTube be like W*F Old vijayakanth movie parthathu pola irruku. 例 dei like poda anaithu 9 p**a semma mokka and as usual a masala movie m***u adichutu sagunga da j***i p***********a 81k view 89k likes youtube be like w*f old vijayakanth movie parthathu pola irruku
訳抜け防止モード: 例 dei like poda anaithu 9 p**a semma mokka and as usual a masala movie m***u adichutu sagunga da j***i p*************a 81k youtubeのビュー数89kは、昔のヴィジャヤカント映画parthathu pola irrukuのようなものだ。
0.53
.pidikala.... Dei Yappa munjha paarthu Sirichu Sirichu vayiru vazhikuthu except last scene its a crap Movie is going to be disaster Kandasamy and Mugamoodi mixed nu nenaikre.... ピディカラ... Dei Yappa munjha paarthu Sirichu Sirichu vayiru vazhikuthuは、最後のシーンを除いて、映画は災難のカンダサミーとMugamoodi mixed nu nenaikreだ。 0.62
Last la psycho ilayaraja nu solitan All I understood from this video was Vikram likes Dosai. 最後のサイコilayaraja nu solitan このビデオで私が理解したのはvikram likes dosaiだけだ。 0.70
. Padam nichiyam oodama poga neriya vaipu iruku poliye ! . Padam nichiyam oodama poga neriya vaipu iruku poliye! 0.42
Oru dislike ah potu vaipom オルはア・ポトゥ・ヴァイポムを嫌う 0.45
Table 7: Example of correct and incorrect predictions. 表7: 正しい予測と誤った予測の例。 0.86
Blue highlight shows words attributed by LIME. 青のハイライトは、LIMEによる単語を示しています。 0.43
Green highlight shows words attributed by IG. グリーンハイライトはigによって引き起こされた単語を示す。 0.48
Pink highlight shows words attributed by both LIME and IG. Pink highlight は LIME と IG の両方が持つ単語を示している。 0.71
Yellow highlight shows parts of comments annotated in ground truth but not identified by both LIME and IG. イエローハイライトは、地上の真実に注釈を付けたコメントの一部を示しているが、LIMEとIGは特定していない。 0.47
for longer sized comments, the model tends to outperform M-BERT, RoBERTa when coupled with IG. 長いサイズのコメントでは、モデルがIGと結合すると、M-BERT、RoBERTaを上回る傾向にある。
訳抜け防止モード: 長いコメントのために モデルは IGと結合すると、M - BERT, RoBERTa を上回ります。
0.68
Meanwhile, LIME has no changes irrespective of used transformers. 一方、LIMEは使用済みのトランスフォーマーに関係なく変更はない。 0.56
spans, especially with the addition of more data and position information. 特に、より多くのデータと位置情報の追加によって、スパンする。 0.63
Meanwhile, IG is consistent in producing explanations irrespective of dataset size or training approach. 一方、IGはデータセットのサイズやトレーニングアプローチに関係なく、説明を生成することに一貫性がある。 0.44
5.3 OS-Multilabel Experiments Finally, we analyze the significance of encoding the position of offensive words as part of the training process. 5.3 OS-Multilabel 実験 最後に,攻撃語の位置を学習過程の一部として符号化することの重要性を分析する。 0.70
To this end, we ask Does introducing position information as part of the training process improve zero-shot results? この目的のために、トレーニングプロセスの一部として位置情報を導入することは、ゼロショットの結果を改善するのか? 0.62
. As such, we use the multilabel dataset to finetune the transformers to obtain results, as shown in Table 5. . そのため、表5に示すように、マルチラベルデータセットを使用してトランスフォーマーを微調整して結果を得る。 0.60
Firstly, we can see that introducing multiple labels for training has no impact on the overall results of LG. まず、トレーニング用に複数のラベルを導入することは、LGの全体的な結果に影響を与えない。 0.61
However, we can see that LIME demonstrates a significant gain in overall results. しかし、LIMEが全体的な結果に大きく貢献していることがわかる。 0.52
Specifically, with multilabel training, the baseline results improve by 20% to 47.38%. 具体的には、マルチラベルトレーニングでは、ベースラインの結果が20%から47.38%向上する。 0.56
Furthermore, we can observe an equivalent trend across the different sizes of comments as seen in Table 6. さらに、表6に示すように、異なるサイズのコメントに対して同等の傾向が観察できる。 0.75
In fact, for words of less than 30 and 50 characters, LIME outdoes IG models, which aligns with our hypothesis that the position is helpful. 実際、30文字から50文字未満の単語に対しては、LIMEはIGモデルよりも優れている。
訳抜け防止モード: 実際、30文字から50文字未満の単語については。 LIMEはIGモデルを上回る 位置が役に立つという仮説と一致します
0.68
Overall from all the results from Table 5-6 we can see XLM-RoBERTa be more suitable for extracting 表5-6の結果から、XLM-RoBERTaの方が抽出に適していることがわかる。 0.63
6 Conclusion This work examines rationale extraction methods for inferring offensive spans from the transformer model trained for offensive sentence classification. 6 結論 本研究では,攻撃文分類のための変圧器モデルから攻撃範囲を推定するための合理的抽出法を検討する。 0.62
Experiments revealed that approaches such as LIME do not perform as well when applied to transformers directly, attributing to potential issues with surrogate models and perturbation procedures. 実験の結果、LIMEのような手法はトランスフォーマーに直接適用してもうまく動作せず、代理モデルや摂動手順の潜在的な問題に起因することがわかった。 0.58
Meanwhile, we can see IG as the clear front runner for identifying offensive spans in a zero-shot way. 一方、IGは攻撃的スパンをゼロショットで識別するためのクリアなフロントランナーと見ることができます。 0.52
We think this is due to the inherent nature of the method, where it focuses on creating the input at the same time learning the reason for offensiveness. これは,攻撃性の理由を学習すると同時に,インプットを作成することに集中する手法の本質的な性質によるものと考えられる。 0.72
Besides, we also analyzed LIME and IG under large datasets and incorporated position information in the training process. また,LIMEとIGを大規模データセットで解析し,トレーニングプロセスに位置情報を組み込んだ。 0.63
To this end, we discovered that only augmenting does not improve the performance of LIME. この結果,LIMEの性能が向上しないのは拡張のみであることが判明した。 0.59
However, when this large data is coupled with labels incorporating position information, both LG and IG improve significantly. しかし、この巨大なデータと位置情報を組み込んだラベルを組み合わせると、lgとigの両方が大幅に改善する。 0.63
Especially LIME prefers this approach with large 特にLIMEは大きなアプローチを好む 0.57
英語(論文から抽出)日本語訳スコア
improvements on F1, despite IG outperforming LIME. IGがLIMEを上回っているにもかかわらず、F1の改善。 0.48
Additionally, we also found XLM-RoBERTa to be a clear winner among the transformer models owing to its intrinsic learning of relationships which potentially helps with comments that are longer size. さらに、XLM-RoBERTaは、その本質的な関係の学習によって、より長いコメントで役立つ可能性があるトランスフォーマーモデルの明確な勝者であることもわかりました。 0.58
However, many details were unexplored, including しかし、多くの詳細は未調査のままであった。 0.49
(i) the effect of random perturbations on overall results (i)総合結果に対するランダム摂動の影響 0.76
(ii) the approach to merge attributions of multilabel predictions, which we plan to explore in the immediate future. (ii)マルチラベル予測の帰属をマージするアプローチは,今後検討する予定である。 0.64
Acknowledgements We thank our anonymous reviewers for their valuable feedback. 承認 貴重なフィードバックを頂いた匿名のレビュアーに感謝します。 0.56
Any opinions, findings, and conclusion or recommendations expressed in this material are those of the authors only and does not reflect the view of their employing organization or graduate schools. この資料で示される意見、所見、結論または推奨事項は、著者のみのものであり、彼らの雇用組織や大学院の見解を反映していない。 0.72
The work is the part of the final project in CS7643-Deep Learning class at Georgia Tech (Spring 2022). このプロジェクトはジョージア工科大学(2022年春)のCS7643-Deep Learningクラスの最終プロジェクトの一部である。 0.73
Bharathi Raja Chakravarthi were supported in part by a research grant from Science Foundation Ireland (SFI) under Grant Number SFI/12/RC/2289_P2 (Insight_2), co-funded by the European Regional Development Fund and Irish Research Council grant IRCLA/2017/129 (CARDAMOM-Comparativ e Deep Models of Language for Minority and Historical Languages). Bharathi Raja Chakravarthiは、欧州地域開発基金とIRCLA/2017/129(CARDA MOM-Comparative Deep Models of Language for Minority and Historical Languages)が共同出資した、Grant Number SFI/12/RC/2289_P2 (Insight_2)の下でSFI(Science Foundation Ireland)の研究助成金によって部分的に支援された。 0.68
References Oana-Maria Camburu, Tim Rocktäschel, Thomas Lukasiewicz, and Phil Blunsom. 参照: Oana-Maria Camburu、Tim Rocktäschel、Thomas Lukasiewicz、Phil Blunsom。 0.80
2018. e-snli: Natural language inference with natural language explanations. 2018. e-snli: 自然言語の説明による自然言語推論。 0.60
CoRR, abs/1812.01193. コラー、abs/1812.01193。 0.39
Bharathi Raja Chakravarthi, Ruba Priyadharshini, Navya Jose, Anand Kumar M, Thomas Mandl, Prasanna Kumar Kumaresan, Rahul Ponnusamy, Hariharan R L, John P. McCrae, and Elizabeth Sherly. Bharathi Raja Chakravarthi, Ruba Priyadharshini, Navya Jose, Anand Kumar M, Thomas Mandl, Prasanna Kumar Kumaresan, Rahul Ponnusamy, Hariharan R L, John P. McCrae, Elizabeth Sherly
訳抜け防止モード: Bharathi Raja Chakravarthi, Ruba Priyadharshini, Navya Jose, Anand Kumar M Thomas Mandl, Prasanna Kumar Kumaresan, Rahul Ponnusamy, Hariharan R L, ジョン・P・マクレーとエリザベス・シャーリー。
0.81
2021a. Findings of the shared task on offensive language identification in Tamil, Malayalam, and Kannada. 2021年。 タミル語・マラヤラム語・カンナダ語における攻撃的言語識別に関する共通課題の検討 0.71
In Proceedings of the First Workshop on Speech and Language Technologies for Dravidian Languages, pages 133–145, Kyiv. 第1回ドヴィダ語の音声と言語技術に関するワークショップの議事録133-145ページ、キエフ。 0.71
Association for Computational Linguistics. Bharathi Raja Chakravarthi, Ruba Priyadharshini, Vigneshwaran Muralidaran, Navya Jose, Shardul Suryawanshi, Elizabeth Sherly, and John P. McCrae. 計算言語学会会員。 Bharathi Raja Chakravarthi, Ruba Priyadharshini, Vigneshwaran Muralidaran, Navya Jose, Shardul Suryawanshi, Elizabeth Sherly, John P. McCrae
訳抜け防止モード: 計算言語学会会員。 bharathi raja chakravarthi, ruba priyadharshini, vigneshwaran muralidaran, navya jose シャードル・スルヤワンシ、エリザベス・シェリー、ジョン・p・マクレイ。
0.55
2021b. Dravidiancodemix: Sentiment analysis and offensive language identification dataset for dravidian languages in code-mixed text. 2021年。 dravidiancodemix: コード混合テキスト中のdravidian言語に対する感情分析と攻撃的言語識別データセット。 0.74
CoRR, abs/2106.09460. corr、abs/2106.09460。 0.40
Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco 0.42
Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. グズマン、エドワード・グレイヴ、ミレ・オット、ルーク・ゼトルモイヤー、ヴェセリン・ストヤノフ。 0.49
2020. Unsupervised cross-lingual representation learning at scale. 2020. 教師なし言語間表現学習の大規模化 0.45
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 8440–8451. 第58回計算言語学会年次総会において、acl 2020, online, july 5-10, 2020, pages 8440–8451。 0.69
Association for Computational Linguistics. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 計算言語学会会員。 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova 0.45
2019. BERT: pre-training of deep bidirectional transformers for language underIn Proceedings of the 2019 Conference standing. 2019. bert: 2019年のカンファレンススタンディングでは、言語のための深い双方向トランスフォーマーを事前トレーニングしています。 0.50
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pages 4171–4186. The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), page 4171–4186.
訳抜け防止モード: 計算言語学会北米支部の紹介 : 人間言語技術 naacl - hlt 2019, minneapolis, mn, usa, june 2 - 7, 2019 (英語) 第1巻(長編・短編)、4171-4186頁。
0.71
Association for Computational Linguistics. Huiyang Ding and David Jurgens. 計算言語学会会員。 Huiyang DingとDavid Jurgens。 0.65
2021. HamiltonDinggg at SemEval-2021 task 5: Investigating toxic span detection using RoBERTa pre-training. 2021. SemEval-2021 Task 5: RoBERTaプレトレーニングによる有害スパン検出の探索 0.56
In Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021), pages 263–269, Online. 第15回意味評価国際ワークショップ(semeval-2021)の議事録では、263-269ページがオンラインで公開されている。 0.52
Association for Computational Linguistics. Guolin Ke, Di He, and Tie-Yan Liu. 計算言語学会会員。 Guolin Ke, Di He, Tie-Yan Liu。 0.46
2021. Rethinking positional encoding in language pre-training. 2021. 言語事前学習における位置符号化の再考 0.51
ArXiv, abs/2006.15595. arxiv、abs/2006.15595。 0.52
Wuwei Lan and Wei Xu. Wuwei LanとWei Xu。 0.38
2018. Neural network models for paraphrase identification, semantic textual similarity, natural language inference, and question anIn Proceedings of the 27th International swering. 2018. パラフレーズ識別のためのニューラルネットワークモデル、意味的テキスト類似性、自然言語推論、および第27回国際スワリングの疑問 anIn Proceedings 0.58
Conference on Computational Linguistics, pages 3890–3902, Santa Fe, New Mexico, USA. 計算言語学会議 3890-3902, Santa Fe, New Mexico, USA 0.61
Association for Computational Linguistics. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. 計算言語学会会員。 Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov。
訳抜け防止モード: 計算言語学会会員。 yinhan liu, myle ott, naman goyal, jingfei du, マンダー・ジョシ、ダンチー・チェン、オマー・レヴィ、マイク・ルイス ルーク・ゼトルモイヤー(luke zettlemoyer)とヴェセリン・ストヤノフ(veslin stoyanov)。
0.57
2019. Roberta: A robustly optimized BERT pretraining approach. 2019. Roberta: 堅牢に最適化されたBERT事前トレーニングアプローチです。 0.51
CoRR, abs/1907.11692. CoRR、abs/1907.11692。 0.54
Marius Mosbach, Maksym Andriushchenko, and Dietrich Klakow. マリウス・モスバッハ、マキシム・アンドリシュチェンコ、ディートリヒ・クラコウ。 0.52
2021. On the stability of fine-tuning BERT: misconceptions, explanations, and strong baselines. 2021. 細調整BERTの安定性について:誤解、説明、強いベースライン。 0.52
In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. 第9回国際学習表現会議 iclr 2021, virtual event, austria, may 3-7, 2021。 0.78
OpenReview.net. OpenReview.net 0.41
Manikandan Ravikiran and Subbiah Annamalai. Manikandan RavikiranとSubbiah Annamalai。 0.38
2021. DOSA: Dravidian code-mixed offensive span identification dataset. 2021. dosa: dravidian code-mixed offensive span identificationデータセット。 0.55
In Proceedings of the First Workshop on Speech and Language Technologies for Dravidian Languages, pages 10–17, Kyiv. 第1回ドヴィダ語の音声と言語技術に関するワークショップの議事録10-17ページ、kyiv。 0.73
Association for Computational Linguistics. Manikandan Ravikiran, Bharathi Raja Chakravarthi, Anand Kumar Madasamy, Sangeetha Sivanesan, Ratnavel Rajalakshmi, Sajeetha Thavareesan, Rahul Ponnusamy, and Shankar Mahadevan. 計算言語学会会員。 Manikandan Ravikiran, Bharathi Raja Chakravarthi, Anand Kumar Madasamy, Sangeetha Sivanesan, Ratnavel Rajalakshmi, Sajeetha Thavareesan, Rahul Ponnusamy, Shankar Mahadevan 0.45
2022. Findings of the shared task on Offensive Span Identification in code-mixed Tamil-English comments. 2022. コード混在タミル語コメントにおける攻撃スパン識別における共有タスクの発見 0.53
In Proceedings of the Second Workshop on Speech and 第2回講演会の開催にあたって 0.58
英語(論文から抽出)日本語訳スコア
Peng Xu, Dhruv Kumar, Wei Yang, Wenjie Zi, Keyi Tang, Chenyang Huang, Jackie Chi Kit Cheung, Simon J.D. Prince, and Yanshuai Cao. Peng Xu, Dhruv Kumar, Wei Yang, Wenjie Zi, Keyi Tang, Chenyang Huang, Jackie Chi Kit Cheung, Simon J.D. Prince, Yanshuai Cao
訳抜け防止モード: Peng Xu, Dhruv Kumar, Wei Yang, Wenjie Zi キー・タン、陳陽黄、ジャッキー・チ・チ・チョン、サイモン・J・D・プリンス とYanshuai Cao。
0.75
2021. OptimizIn Proing deeper transformers on small datasets. 2021. OptimizIn 小さなデータセットにより深いトランスフォーマーを提供する。 0.53
ceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 2089– 2102, Online. 第59回計算言語学会年次大会と第11回自然言語処理国際合同会議(第1巻:長い論文)の開催報告 2089-2102ページ 0.59
Association for Computational Linguistics. Language Technologies for Dravidian Languages. 計算言語学会会員。 ドラヴィダ語のための言語技術。 0.59
Association for Computational Linguistics. Marco Túlio Ribeiro, Sameer Singh, and Carlos Guestrin. 計算言語学会会員。 マルコ・トゥリオ・リベイロ、サマー・シン、カルロス・ゲストリン。 0.50
2016a. "why should I trust you?": ExIn Proplaining the predictions of any classifier. 2016年。 「なぜ君を信用すべきなのか?」:どの分類器の予測を暗示する。 0.72
ceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016, pages 1135–1144. 第22回ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016 ページ 1135–1144。 0.82
ACM. Marco Túlio Ribeiro, Sameer Singh, and Carlos Guestrin. acm。 マルコ・トゥリオ・リベイロ、サマー・シン、カルロス・ゲストリン。 0.55
2016b. "why should I trust you?": Explaining the predictions of any classifier. 2016年。 「なぜあなたを信頼すべきなのか?」:あらゆる分類器の予測を説明する。 0.71
In Proceedings of the Demonstrations Session, NAACL HLT 2016, The 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego California, USA, June 12-17, 2016, pages 97–101. In Proceedings of the Demonstrations Session, NAACL HLT 2016 The 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego California, USA, June 12-17, 2016 page 97–101.
訳抜け防止モード: naacl hlt 2016, the 2016 conference of the north american chapter of the association for computational linguistics: human language technologies, in proceedings of the demonstrations session, naacl hlt 2016 (英語) 2016年6月12日 - 17日、カリフォルニア州サンディエゴ。 97-101頁。
0.84
The Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)の略。 0.49
Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Peter Shaw、Jakob Uszkoreit、Ashish Vaswani。 0.31
2018. Self-attention with relative position represenIn Proceedings of the 2018 Conference of tations. 2018. 2018年ティオン会議における相対的位置リプレンサン議事録との自己交付 0.50
the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 464–468, New Orleans, Louisiana. The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), page 464–468, New Orleans, Louisiana.
訳抜け防止モード: the north american chapter of the association for computational linguistics : human language technologies, 第2巻、第464-468頁、ルイジアナ州ニューオーリンズ。
0.67
Association for Computational Linguistics. Sandipan Sikdar, Parantapa Bhattacharya, and Kieran Heese. 計算言語学会会員。 sandipan sikdar、parantapa bhattacharya、kieran heeseなど。 0.52
2021. Integrated directional gradients: Feature interaction attribution for neural NLP models. 2021. 統合指向性勾配:ニューラルNLPモデルにおける特徴相互作用属性 0.62
In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 865–878, Online. 第59回計算言語学会年次大会および第11回自然言語処理国際合同会議(第1巻:長い論文)の議事録において、ページ855-878がオンラインで公開されている。 0.67
Association for Computational Linguistics. Mukund Sundararajan, Ankur Taly, and Qiqi Yan. 計算言語学会会員。 mukund sundararajan、ankur taly、qiqi yan。 0.46
2017. In ProAxiomatic attribution for deep networks. 2017. 深層ネットワークに対する帰属的帰属についてです 0.41
ceedings of the 34th International Conference on Machine Learning, ICML 2017, Sydney, NSW, Australia, 6-11 August 2017, volume 70 of Proceedings of Machine Learning Research, pages 3319–3328. 第34回機械学習国際会議, icml 2017, sydney, nsw, australia, 6-11 august 2017, proceedings of machine learning research, pages 3319-3328 (英語) 0.72
PMLR. James PMLR。 ジェームズ 0.57
Thorne, Andreas Vlachos, ソーン アンドレアス・ヴラチョス。 0.44
and Arpit Mittal. そしてArpit Mittal。 0.58
Christos Christodoulopoulos, 2019. Christos Christodoulopoulos, 2019年。 0.95
Generating token-level explanations for natural In Proceedings of the 2019 language inference. 2019年の言語推論の自然なIn Proceedingに対するトークンレベルの説明の生成。 0.67
Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 963–969, Minneapolis, Minnesota. The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 963–969, Minneapolis, Minnesota
訳抜け防止モード: 計算言語学会北米支部会議 : ヒューマン・ランゲージ・テクノロジー 第1巻(ロング・アンド・ショート・ペーパーズ)953-969頁、ミネソタ州ミネアポリス。
0.55
Association for Computational Linguistics. Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, and Jamie Brew. 計算言語学会会員。 Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Jamie Brew
訳抜け防止モード: 計算言語学会会員。 トーマス・ウルフ、lysandre、victor sanh、julien chaumond。 クレメント・ディラング アンソニー・モイ ピアリック・シスタック ティム・ロー rémi louf、morgan funtowicz、jamie brew。
0.53
2019. Huggingface’s transformers: State-of-the-art natural language processing. 2019. Huggingfaceのトランスフォーマー:最先端の自然言語処理。 0.58
CoRR, abs/1910.03771. CoRR, abs/1910.03771。 0.59
                 ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。