論文の概要: Adaptive Ensembles of Fine-Tuned Transformers for LLM-Generated Text Detection

• arxiv url: http://arxiv.org/abs/2403.13335v1
• Date: Wed, 20 Mar 2024 06:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 17:48:13.158052
• Title: Adaptive Ensembles of Fine-Tuned Transformers for LLM-Generated Text Detection
• Title（参考訳）: LLMテキスト検出のための微調整変換器の適応アンサンブル
• Authors: Zhixin Lai, Xuesheng Zhang, Suiyao Chen,
• Abstract要約: 大規模言語モデル (LLM) は、多種多様なテキストコンテンツを生成するのに人間のように習熟している。 これまでの研究では、主に分散データセット上の単一モデルをテストしてきた。 分布内および分布外の両方のデータセット上で、トランスフォーマーをベースとした5つのモデルを検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have reached human-like proficiency in generating diverse textual content, underscoring the necessity for effective fake text detection to avoid potential risks such as fake news in social media. Previous research has mostly tested single models on in-distribution datasets, limiting our understanding of how these models perform on different types of data for LLM-generated text detection task. We researched this by testing five specialized transformer-based models on both in-distribution and out-of-distribution datasets to better assess their performance and generalizability. Our results revealed that single transformer-based classifiers achieved decent performance on in-distribution dataset but limited generalization ability on out-of-distribution dataset. To improve it, we combined the individual classifiers models using adaptive ensemble algorithms, which improved the average accuracy significantly from 91.8% to 99.2% on an in-distribution test set and from 62.9% to 72.5% on an out-of-distribution test set. The results indicate the effectiveness, good generalization ability, and great potential of adaptive ensemble algorithms in LLM-generated text detection.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソーシャルメディアにおける偽ニュースのような潜在的なリスクを避けるために、効果的な偽のテキスト検出の必要性を強調し、多様なテキストコンテンツを生成するための人間的な熟練度に達している。 従来の研究では、主に分散データセット上の単一モデルをテストしており、LLM生成したテキスト検出タスクのために、これらのモデルが異なるタイプのデータでどのように機能するかの理解を制限しています。 本研究は, 分布内および分布外の両方で, 5種類のトランスフォーマーモデルを用いて, 性能と一般化性の評価を行った。 その結果, 単一変圧器を用いた分類器は, 分布内データセットでは良好な性能を示したが, 分布外データセットでは限定的な一般化能力を示した。 そこで, 適応アンサンブルアルゴリズムを用いて各分類器モデルを組み合わせ, 分布内テストセットの平均精度を91.8%から99.2%, 分布外テストセットでは62.9%から72.5%に向上させた。 その結果、LLM生成テキスト検出における適応アンサンブルアルゴリズムの有効性、優れた一般化能力、および大きな可能性を示唆した。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• CLIPping the Deception: Adapting Vision-Language Models for Universal Deepfake Detection [3.849401956130233]
  広汎な深度検出のための最近の適応手法と組み合わせた事前学習型視覚言語モデル(VLM)の有効性について検討する。 ディープフェイク検出にCLIPを適用するために、単一のデータセット(ProGAN)のみを使用します。 シンプルで軽量なPrompt Tuningベースの適応戦略は、以前のSOTAアプローチよりも5.01% mAPと6.61%の精度で優れている。
  論文  参考訳（メタデータ） (2024-02-20T11:26:42Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
  大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。 人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。 本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
  論文  参考訳（メタデータ） (2023-11-06T13:11:02Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Efficient Detection of LLM-generated Texts with a Bayesian Surrogate Model [14.98695074168234]
  本稿では,特に大規模言語モデル(LLM)から機械生成テキストを検出する新しい手法を提案する。 ベイジアンサロゲートモデルを用いて、ベイジアン不確実性に基づいて典型的なサンプルを選択し、典型的なサンプルから他のサンプルへのスコアを補間し、クエリ効率を向上させる。 実験の結果,提案手法はクエリコストの低い既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-05-26T04:23:10Z)
• Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach [72.19525160912943]
  まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。 次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。 これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
  論文  参考訳（メタデータ） (2023-03-06T17:19:23Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• Data Augmentation with norm-VAE for Unsupervised Domain Adaptation [26.889303784575805]
  我々は,高次元同次特徴空間内の両領域に対して,明示的な領域適応を伴わない統一型分類器を学習する。 提案手法は,SPL(Selective Pseudo-Labelling)技術を用いて,対象領域の未ラベルサンプルを有効活用する。 本稿では,データ拡張戦略として,対象領域の合成特徴を生成する新しい生成モデルノルムVAEを提案する。
  論文  参考訳（メタデータ） (2020-12-01T21:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。