論文の概要: Gradient-Based Adversarial Training on Transformer Networks for
Detecting Check-Worthy Factual Claims
- arxiv url: http://arxiv.org/abs/2002.07725v2
- Date: Thu, 21 May 2020 12:33:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 19:15:38.685906
- Title: Gradient-Based Adversarial Training on Transformer Networks for
Detecting Check-Worthy Factual Claims
- Title(参考訳): チェックWorthy Factual Claim検出のための変圧器ネットワークの勾配学習
- Authors: Kevin Meng, Damian Jimenez, Fatma Arslan, Jacob Daniel Devasier,
Daniel Obembe, Chengkai Li
- Abstract要約: 本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。
現在の最先端モデルよりもF1スコアが4.70ポイント向上した。
本稿では,変換器モデルに逆学習を適用する手法を提案する。
- 参考スコア(独自算出の注目度): 3.7543966923106438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a study on the efficacy of adversarial training on transformer
neural network models, with respect to the task of detecting check-worthy
claims. In this work, we introduce the first adversarially-regularized,
transformer-based claim spotter model that achieves state-of-the-art results on
multiple challenging benchmarks. We obtain a 4.70 point F1-score improvement
over current state-of-the-art models on the ClaimBuster Dataset and CLEF2019
Dataset, respectively. In the process, we propose a method to apply adversarial
training to transformer models, which has the potential to be generalized to
many similar text classification tasks. Along with our results, we are
releasing our codebase and manually labeled datasets. We also showcase our
models' real world usage via a live public API.
- Abstract(参考訳): 本研究は, 変圧器ニューラルネットモデルに対する対人訓練の有効性について, チェック価値のあるクレームを検出するタスクについて検討する。
そこで本研究では,複数の難解なベンチマークで最先端の結果を得るための,最初の非正規化・変圧器ベースのクレームスポッターモデルを提案する。
我々は,ClaymBuster Dataset と CLEF2019 Dataset の現在の最先端モデルに対して,それぞれ4.70ポイントのF1スコア改善を実現した。
そこで本研究では,様々なテキスト分類タスクに一般化する可能性を持つトランスフォーマモデルに対して,逆訓練を適用する手法を提案する。
結果に加えて、コードベースと手作業でラベル付きデータセットもリリースしています。
また、ライブ公開APIを通じて、モデルの実世界の使用状況も紹介します。
関連論文リスト
- Adversarial Augmentation Training Makes Action Recognition Models More
Robust to Realistic Video Distribution Shifts [13.752169303624147]
アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。
そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。
提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-21T05:50:39Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。
我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
論文 参考訳(メタデータ) (2023-04-13T17:57:54Z) - Transformers for End-to-End InfoSec Tasks: A Feasibility Study [6.847381178288385]
私たちは2つの異なるInfoSecデータフォーマット、特にURLとPEファイルに対してトランスフォーマーモデルを実装します。
URLトランスフォーマーモデルは、高いパフォーマンスレベルに達するためには、異なるトレーニングアプローチが必要です。
提案手法は,PEファイルのベンチマークデータセット上で,確立されたマルウェア検出モデルに相容れない性能を示す。
論文 参考訳(メタデータ) (2022-12-05T23:50:46Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。
本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。
その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2021-11-22T18:59:15Z) - Discriminative and Generative Transformer-based Models For Situation
Entity Classification [8.029049649310211]
我々は、状況エンティティ(SE)分類タスクを、利用可能なトレーニングデータの量に応じて再検討する。
変換器を用いた変分オートエンコーダを用いて文を低次元の潜在空間に符号化する。
論文 参考訳(メタデータ) (2021-09-15T17:07:07Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳(メタデータ) (2021-04-26T13:13:03Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。