論文の概要: An Ensemble Method Based on the Combination of Transformers with Convolutional Neural Networks to Detect Artificially Generated Text

• arxiv url: http://arxiv.org/abs/2310.17312v1
• Date: Thu, 26 Oct 2023 11:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 20:50:09.406529
• Title: An Ensemble Method Based on the Combination of Transformers with Convolutional Neural Networks to Detect Artificially Generated Text
• Title（参考訳）: 変圧器と畳み込みニューラルネットワークの組み合わせに基づくアンサンブル手法による人工テキストの検出
• Authors: Vijini Liyanage and Davide Buscaldi
• Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)を用いたSci-BERT、DeBERTa、XLNetなどのトランスフォーマーモデルによる分類モデルを提案する。 実験により, アンサンブルアーキテクチャは, 分類のための個別変圧器モデルの性能を上回っていることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thanks to the state-of-the-art Large Language Models (LLMs), language generation has reached outstanding levels. These models are capable of generating high quality content, thus making it a challenging task to detect generated text from human-written content. Despite the advantages provided by Natural Language Generation, the inability to distinguish automatically generated text can raise ethical concerns in terms of authenticity. Consequently, it is important to design and develop methodologies to detect artificial content. In our work, we present some classification models constructed by ensembling transformer models such as Sci-BERT, DeBERTa and XLNet, with Convolutional Neural Networks (CNNs). Our experiments demonstrate that the considered ensemble architectures surpass the performance of the individual transformer models for classification. Furthermore, the proposed SciBERT-CNN ensemble model produced an F1-score of 98.36% on the ALTA shared task 2023 data.
• Abstract（参考訳）: 最先端のLarge Language Models (LLMs)のおかげで、言語生成は傑出したレベルに達した。 これらのモデルは高品質なコンテンツを生成することができるため、人間が書いたコンテンツから生成されたテキストを検出するのが難しい。 自然言語生成の利点にもかかわらず、自動生成されたテキストを区別できないことは、信頼性の観点から倫理的懸念を提起する。 そのため,人工的コンテンツを検出する手法の設計と開発が重要である。 本研究では,Sci-BERT,DeBERTa,XLNetなどの変圧器モデルと畳み込みニューラルネットワーク(CNN)を併用した分類モデルを提案する。 実験により, アンサンブルアーキテクチャは, 個別変圧器モデルの分類性能を上回ることがわかった。 さらに提案されたSciBERT-CNNアンサンブルモデルでは、ALTA共有タスク2023データに対して98.36%のF1スコアが得られた。

関連論文リスト

• Benchmarking Generative AI Models for Deep Learning Test Input Generation [6.674615464230326]
  テスト入力ジェネレータ(TIG)は、ディープラーニング(DL)画像分類器が、トレーニングやテストセットを超えて入力の正確な予測を提供する能力を評価するために不可欠である。 ジェネレーティブAI(GenAI)モデルの最近の進歩は、合成画像の作成と操作のための強力なツールとなった。 我々は、異なるGenAIモデルとTIGをベンチマークして組み合わせ、生成したテスト画像の有効性、効率、品質を評価する。
  論文  参考訳（メタデータ） (2024-12-23T15:30:42Z)
• Revisiting N-Gram Models: Their Impact in Modern Neural Networks for Handwritten Text Recognition [4.059708117119894]
  本研究は,言語モデル,特にn-gramモデルが,手書き認識の分野における最先端のディープラーニングアーキテクチャの性能に引き続き寄与するかどうかを論じる。 我々は、明示的なn-gram言語モデルを統合することなく、2つの著名なニューラルネットワークアーキテクチャ、PyLaiaとDANを評価した。 その結果,文字やサブワードの n-gram モデルの導入は,すべてのデータセット上での ATR モデルの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-30T07:37:48Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• An Ensemble Approach to Question Classification: Integrating Electra Transformer, GloVe, and LSTM [0.0]
  本研究では,Electra,GloVe,LSTMモデルの強みを組み合わせた質問分類のための革新的なアンサンブル手法を提案する。 このモデルは、よく認識されたTRECデータセットで厳密にテストされ、これらの異なる技術の統合がより優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-08-13T18:14:10Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• RoBERTa-wwm-ext Fine-Tuning for Chinese Text Classification [5.71097144710995]
  変換器による双方向表現(BERT)は、様々な自然言語処理タスクにおけるパフォーマンスを劇的に向上させる、有望な方法である。 本プロジェクトでは,中国語テキスト分類にroberta-wwm-extプリトレイン言語モデルを適用し,微調整を行った。 モデルは、法行動の記述と違法行為の記述を含む2つの分類に分類することができた。
  論文  参考訳（メタデータ） (2021-02-24T18:57:57Z)
• GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
  近年,非並列テキストスタイルの転送が研究の関心を集めている。 現在のアプローチでは、元の文の内容やロジックを保存できない。 文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
  論文  参考訳（メタデータ） (2021-02-01T11:08:45Z)
• Controllable Text Generation with Focused Variation [71.07811310799664]
  Focused-Variation Network (FVN) は言語生成を制御する新しいモデルである。 FVNは、コードブック内の各属性に対する非結合なラテント空間を学習し、制御性と多様性の両方を可能にする。 我々は、注釈付きコンテンツとスタイルを持つ2つのテキスト生成データセット上でFVNを評価し、自動評価と人的評価により、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-09-25T06:31:06Z)
• Conformer: Convolution-augmented Transformer for Speech Recognition [60.119604551507805]
  最近、トランスフォーマーと畳み込みニューラルネットワーク(CNN)に基づくモデルが、自動音声認識(ASR)の有望な結果を示している。 音声認識のための畳み込み拡張変換器,Conformerを提案する。 広く使われているLibriSpeechベンチマークでは、言語モデルを用いずにWERが2.1%/4.3%、テスト/テストの外部言語モデルで1.9%/3.9%を達成した。
  論文  参考訳（メタデータ） (2020-05-16T20:56:25Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
  BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。 さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。 我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
  論文  参考訳（メタデータ） (2020-03-29T14:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。