論文の概要: MisRoB{\AE}RTa: Transformers versus Misinformation
- arxiv url: http://arxiv.org/abs/2304.07759v1
- Date: Sun, 16 Apr 2023 12:14:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 17:29:48.403569
- Title: MisRoB{\AE}RTa: Transformers versus Misinformation
- Title（参考訳）: MisRoB{\AE}RTa:トランスフォーマー対誤情報
- Authors: Ciprian-Octavian Truic\u{a} and Elena-Simona Apostol
- Abstract要約: 本稿では,誤情報検出のためのトランスフォーマーに基づくニューラルアンサンブルアーキテクチャを提案する。
MisRobaerTaは、分類性能を改善するために、2つのトランスフォーマー(BARTとRoBERTa)を利用する。
トレーニングとテストのために、私たちは10のクラスでラベル付けされた大規模な現実世界のニュース記事データセットを使用しました。
- 参考スコア（独自算出の注目度）: 0.6091702876917281
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Misinformation is considered a threat to our democratic values and
principles. The spread of such content on social media polarizes society and
undermines public discourse by distorting public perceptions and generating
social unrest while lacking the rigor of traditional journalism. Transformers
and transfer learning proved to be state-of-the-art methods for multiple
well-known natural language processing tasks. In this paper, we propose
MisRoB{\AE}RTa, a novel transformer-based deep neural ensemble architecture for
misinformation detection. MisRoB{\AE}RTa takes advantage of two transformers
(BART \& RoBERTa) to improve the classification performance. We also
benchmarked and evaluated the performances of multiple transformers on the task
of misinformation detection. For training and testing, we used a large
real-world news articles dataset labeled with 10 classes, addressing two
shortcomings in the current research: increasing the size of the dataset from
small to large, and moving the focus of fake news detection from binary
classification to multi-class classification. For this dataset, we manually
verified the content of the news articles to ensure that they were correctly
labeled. The experimental results show that the accuracy of transformers on the
misinformation detection problem was significantly influenced by the method
employed to learn the context, dataset size, and vocabulary dimension. We
observe empirically that the best accuracy performance among the classification
models that use only one transformer is obtained by BART, while DistilRoBERTa
obtains the best accuracy in the least amount of time required for fine-tuning
and training. The proposed MisRoB{\AE}RTa outperforms the other transformer
models in the task of misinformation detection. To arrive at this conclusion,
we performed ample ablation and sensitivity testing with MisRoB{\AE}RTa on two
datasets.
- Abstract（参考訳）: 誤報は我々の民主的価値観と原則に対する脅威だと考えられている。
ソーシャルメディア上でのコンテンツの拡散は社会を二極化させ、社会の認識を歪め、伝統的なジャーナリズムの厳格さを欠く一方で社会不安を引き起こす。
トランスフォーマーと転送学習は、複数のよく知られた自然言語処理タスクの最先端の方法であることが証明された。
本稿では,誤情報検出のための新しいトランスフォーマーベースの深層ニューラルネットワークアンサンブルアーキテクチャであるmisrob{\ae}rtaを提案する。
MisRoB{\AE}RTaは2つの変換器(BART \とRoBERTa)を利用して分類性能を向上させる。
また,誤情報検出作業における複数変圧器の性能評価を行った。
トレーニングとテストのために、私たちは10のクラスでラベル付けされた大規模な現実世界のニュース記事データセットを使用し、現在の研究における2つの欠点に対処しました。
本データセットでは,ニュース記事の内容が正しくラベル付けされていることを確認するために,手動で検証を行った。
実験結果から,誤情報検出問題における変圧器の精度は,文脈,データセットサイズ,語彙次元を学習するための手法に大きく影響された。
本研究では,1つの変圧器のみを使用する分類モデルで最高の精度が得られたのに対して,DistilRoBERTaは微調整や訓練に最低限の時間で最高の精度が得られることを示す。
提案する misrob{\ae}rta は, 誤情報検出タスクにおいて他のトランスフォーマーモデルよりも優れている。
この結論に達するために、2つのデータセット上でMisRoB{\AE}RTaを用いて完全なアブレーションと感度試験を行った。
関連論文リスト
- Identifying Misinformation on YouTube through Transcript Contextual
Analysis with Transformer Models [1.749935196721634]
本稿では,コンテンツの正確性に着目した映像分類手法を提案する。
我々は、分類課題を解決するためにトランスファーラーニングのような高度な機械学習技術を採用している。
トレーニングされたモデルを、(a)YouTube Vaccine-misinformation関連ビデオ、(b)YouTube Pseudoscienceビデオ、(c)Fake-Newsデータセットの3つのデータセットに適用する。
論文 参考訳（メタデータ） (2023-07-22T19:59:16Z) - Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。
我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
論文 参考訳（メタデータ） (2023-04-13T17:57:54Z) - Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。
RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文 参考訳（メタデータ） (2023-03-13T17:12:03Z) - Mitigating Representation Bias in Action Recognition: Algorithms and
Benchmarks [76.35271072704384]
ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。
この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。
偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:30:35Z) - Detecting COVID-19 Conspiracy Theories with Transformers and TF-IDF [2.3202611780303553]
我々はMediaEvalベンチマーク2021において,3つのフェイクニュース検出タスクの手法と結果を示す。
事前学習した変圧器は最高の検証結果が得られるが、スマートデザインのランダムトレーニングされた変圧器は、事前学習した変圧器に近い精度に達するように訓練することもできる。
論文 参考訳（メタデータ） (2022-05-01T01:48:48Z) - Towards Data-Efficient Detection Transformers [77.43470797296906]
我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。
我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。
本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
論文 参考訳（メタデータ） (2022-03-17T17:56:34Z) - Transforming Fake News: Robust Generalisable News Classification Using
Transformers [8.147652597876862]
パブリックなISOTとCombined Corpusデータセットを使用して、偽ニュースを識別するトランスフォーマーの能力を調べる。
そこで本研究では,モデルトレーニングと最終展開推論システムの両方から,そのような項目を除去する2段階の新たな分類パイプラインを提案する。
ISOTとコンバインド・コーパスのデータセットによる実験では、トランスフォーマーは分布一般化から最大4.9%までのF1スコアを達成している。
論文 参考訳（メタデータ） (2021-09-20T19:03:16Z) - Understanding Transformers for Bot Detection in Twitter [0.0]
Twitterのボット検出は、ソーシャルメディアにおける偽情報や偏見の自動拡散を緩和し、対処するための重要なタスクである。
ボットまたは人間のアカウントが生成するツイートを、そのコンテンツのみに基づいて検出するために、事前学習された言語モデルの使用について検討する。
ボット検出タスクの微調整ジェネレーティブトランスがより高い精度を生み出すことを観察する。
論文 参考訳（メタデータ） (2021-04-13T13:32:55Z) - Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake
News Detection [7.29381091750894]
偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。
まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。
最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
論文 参考訳（メタデータ） (2021-01-14T09:05:42Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳（メタデータ） (2020-10-05T23:37:30Z) - The Cascade Transformer: an Application for Efficient Answer Sentence
Selection [116.09532365093659]
本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。
現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
論文 参考訳（メタデータ） (2020-05-05T23:32:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。