論文の概要: On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing

• arxiv url: http://arxiv.org/abs/2412.17242v3
• Date: Mon, 03 Mar 2025 03:08:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:12:22.305902
• Title: On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing
• Title（参考訳）: 学術書記における機械生成テキスト検出器の一般化と適応性について
• Authors: Yule Liu, Zhiyuan Zhong, Yifan Liao, Zhen Sun, Jingyi Zheng, Jiaheng Wei, Qingyuan Gong, Fenghua Tong, Yang Chen, Yang Zhang, Xinlei He,
• Abstract要約: 本研究では,MGT検出器の一般化と適応性について,学術書誌に特有の3つの重要な側面で検討する。 ドメイン内設定とドメイン間設定の両方において、バイナリ分類および帰属タスクのための様々な検出器の性能をベンチマークする。 本研究は,MGT検出器の多種多様なシナリオにおける一般化と適応性に関する知見を提供し,ロバストで適応的な検出システム構築の基礎を築いた。
• 参考スコア（独自算出の注目度）: 23.434925348283617
• License:
• Abstract: The rising popularity of large language models (LLMs) has raised concerns about machine-generated text (MGT), particularly in academic settings, where issues like plagiarism and misinformation are prevalent. As a result, developing a highly generalizable and adaptable MGT detection system has become an urgent priority. Given that LLMs are most commonly misused in academic writing, this work investigates the generalization and adaptation capabilities of MGT detectors in three key aspects specific to academic writing: First, we construct MGT-Acedemic, a large-scale dataset comprising over 336M tokens and 749K samples. MGT-Acedemic focuses on academic writing, featuring human-written texts (HWTs) and MGTs across STEM, Humanities, and Social Sciences, paired with an extensible code framework for efficient benchmarking. Second, we benchmark the performance of various detectors for binary classification and attribution tasks in both in-domain and cross-domain settings. This benchmark reveals the often-overlooked challenges of attribution tasks. Third, we introduce a novel attribution task where models have to adapt to new classes over time without (or with very limited) access to prior training data in both few-shot and many-shot scenarios. We implement eight different adapting techniques to improve the performance and highlight the inherent complexity of the task. Our findings provide insights into the generalization and adaptation ability of MGT detectors across diverse scenarios and lay the foundation for building robust, adaptive detection systems. The code framework is available at https://github.com/Y-L-LIU/MGTBench-2.0.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の人気が高まり、特に学術的な環境では機械生成テキスト (MGT) に対する懸念が高まっている。 その結果,高度に一般化可能で適応可能なMGT検出システムの開発が最優先事項となっている。 LLMは、学術的な著作において最もよく使われていないことを踏まえ、この研究はMGT検出器の一般化と適応能力を、学術的な著作に特有の3つの重要な側面で研究している。 MGT-Acedemicは、STEM、人文科学、社会科学にまたがる人文テキスト(HWT)とMGTを、効率的なベンチマークを行うための拡張可能なコードフレームワークと組み合わせた、学術的な執筆に焦点を当てている。 第2に、ドメイン内およびクロスドメイン設定の両方において、バイナリ分類および帰属タスクのための様々な検出器の性能をベンチマークする。 このベンチマークは、しばしば見過ごされる属性タスクの課題を明らかにします。 第三に、モデルが時間とともに新しいクラスに適応し、(あるいは非常に制限された)事前トレーニングデータにアクセスすることなく、少数ショットと多ショットの両方のシナリオで、モデルが新しいクラスに適応しなければならない新しい属性タスクを導入します。 パフォーマンスを改善し、タスク固有の複雑さを強調するために、8つの異なる適応技術を実装します。 本研究は,MGT検出器の多種多様なシナリオにおける一般化と適応性に関する知見を提供し,ロバストで適応的な検出システム構築の基礎を築いた。 コードフレームワークはhttps://github.com/Y-L-LIU/MGTBench-2.0で公開されている。

関連論文リスト

• Rephrase and Contrast: Fine-Tuning Language Models for Enhanced Understanding of Communication and Computer Networks [13.829525575305206]
  本稿では,効率的な微調整フレームワークであるRephrase and Contrast(RaC)フレームワークについて紹介する。 RaCは質問の修正と対照的な分析を取り入れることでLLMの理解と批判的思考能力を高める。 本稿では,RaC微調整のためのデータセットを効率的に構築するために,高品質な質問応答対を生成するためのGPT支援データマイニング法を開発した。
  論文  参考訳（メタデータ） (2024-09-21T16:04:43Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection [69.41274756177336]
  大規模言語モデル (LLMs) は様々なチャネルにまたがる機械生成テキスト (MGT) を前例のない急激な増加をもたらした。 このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。 本稿では,MGT-M4GT-Benchの多言語,マルチドメイン,マルチジェネレータコーパスに基づく新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T02:50:33Z)
• TextMachina: Seamless Generation of Machine-Generated Text Datasets [2.4578723416255754]
  TextMachinaは、高品質でバイアスのないデータセットの作成を支援するために設計されたPythonフレームワークである。 MGTデータセット構築の固有の複雑さを抽象化する、ユーザフレンドリなパイプラインを提供する。 TextMachinaが生成したデータセットの品質は、以前の研究で評価されている。
  論文  参考訳（メタデータ） (2024-01-08T15:05:32Z)
• Accelerated materials language processing enabled by GPT [5.518792725397679]
  我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。 まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。 第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。 最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-18T07:31:13Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。