Fugu-MT 論文翻訳(概要): Detecting Generated Scientific Papers using an Ensemble of Transformer Models

論文の概要: Detecting Generated Scientific Papers using an Ensemble of Transformer Models

arxiv url: http://arxiv.org/abs/2209.08283v1
Date: Sat, 17 Sep 2022 08:43:25 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 15:38:37.612989
Title: Detecting Generated Scientific Papers using an Ensemble of Transformer Models
Title（参考訳）: 変圧器モデルを用いた生成科学論文の検出
Authors: Anna Glazkova and Maksim Glazkov
Abstract要約: DAGPap22共有タスクのために開発されたニューラルモデルについて,Scholarly Document Processingの第3ワークショップで紹介した。我々の研究は、異なるトランスフォーマーベースのモデルの比較と、不均衡なクラスを扱うために追加のデータセットとテクニックの使用に焦点を当てている。
参考スコア（独自算出の注目度）: 4.56877715768796
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The paper describes neural models developed for the DAGPap22 shared task hosted at the Third Workshop on Scholarly Document Processing. This shared task targets the automatic detection of generated scientific papers. Our work focuses on comparing different transformer-based models as well as using additional datasets and techniques to deal with imbalanced classes. As a final submission, we utilized an ensemble of SciBERT, RoBERTa, and DeBERTa fine-tuned using random oversampling technique. Our model achieved 99.24% in terms of F1-score. The official evaluation results have put our system at the third place.
Abstract（参考訳）: DAGPap22共有タスクのために開発されたニューラルモデルについて,Scholarly Document Processingの第3ワークショップで紹介した。この共有タスクは、生成された科学論文の自動検出をターゲットとしている。我々の研究は、異なるトランスフォーマーベースのモデルの比較と、不均衡なクラスを扱う追加のデータセットとテクニックの使用に焦点を当てています。最後に,SciBERT,RoBERTa,DeBERTaのアンサンブルをランダムなオーバーサンプリング手法を用いて微調整した。我々のモデルはF1スコアの99.24%を達成した。公式評価の結果は, このシステムを第3位に位置づけた。

関連論文リスト

Stacking the Odds: Transformer-Based Ensemble for AI-Generated Text Detection [3.2047868962340327]
我々は、AI生成テキスト検出のタスクにトランスフォーマーの積み重ねアンサンブルを使用する。その結果,個々のモデルを用いた場合と比較して精度が向上していることが判明した。
論文参考訳（メタデータ） (2023-10-29T05:28:44Z)
Can You Rely on Your Model Evaluation? Improving Model Evaluation with Synthetic Test Data [75.20035991513564]
本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
論文参考訳（メタデータ） (2023-10-25T10:18:44Z)
An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文参考訳（メタデータ） (2023-04-28T15:43:21Z)
RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文参考訳（メタデータ） (2022-04-28T08:49:40Z)
FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to Identify Toxic, Engaging, & Fact-Claiming Comments [0.0]
我々はGermEval 2021への提出に使用した手法について述べる。 3つのサブタスクすべてに対して、Hugingfaceモデルハブから利用可能なトランスフォーマーベースのモデルを微調整しました。トレーニングデータの80%を微調整した後, 各種事前学習モデルの性能評価を行い, 得られた2つのモデルについて予測を行った。
論文参考訳（メタデータ） (2021-09-07T09:46:27Z)
Using Transformer based Ensemble Learning to classify Scientific Articles [0.0]
科学文献の抽象物を与えられた7つのクラスのうちの1つに分類できる4つの独立したサブシステムから構成される。これら4つのサブシステムの予測を多数決を用いてアンサンブルし、テストと検証セットでF1スコアが0.93となる最終システムを開発する。
論文参考訳（メタデータ） (2021-02-19T15:42:26Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)
Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文参考訳（メタデータ） (2020-10-12T03:27:07Z)
syrapropa at SemEval-2020 Task 11: BERT-based Models Design For Propagandistic Technique and Span Detection [2.0051855303186046]
まず,SpanBERTに基づくSpan Identification(SI)モデルを構築し,より深いモデルと文レベルの表現による検出を容易にする。次に、テクニック分類(TC)のためのハイブリッドモデルを開発する。ハイブリッドモデルは、2つのBERTモデルと異なるトレーニング方法、特徴ベースのロジスティック回帰モデルを含む3つのサブモデルで構成されている。
論文参考訳（メタデータ） (2020-08-24T02:15:29Z)
From Sound Representation to Model Robustness [82.21746840893658]
本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
論文参考訳（メタデータ） (2020-07-27T17:30:49Z)
Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims [3.7543966923106438]
本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。現在の最先端モデルよりもF1スコアが4.70ポイント向上した。本稿では,変換器モデルに逆学習を適用する手法を提案する。
論文参考訳（メタデータ） (2020-02-18T16:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。