論文の概要: On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing

• arxiv url: http://arxiv.org/abs/2412.17242v3
• Date: Mon, 03 Mar 2025 03:08:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 15:02:13.563643
• Title: On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing
• Title（参考訳）: 学術書記における機械生成テキスト検出器の一般化と適応性について
• Authors: Yule Liu, Zhiyuan Zhong, Yifan Liao, Zhen Sun, Jingyi Zheng, Jiaheng Wei, Qingyuan Gong, Fenghua Tong, Yang Chen, Yang Zhang, Xinlei He,
• Abstract要約: 本研究では,MGT検出器の一般化と適応性について,学術書誌に特有の3つの重要な側面で検討する。 ドメイン内設定とドメイン間設定の両方において、バイナリ分類および帰属タスクのための様々な検出器の性能をベンチマークする。 本研究は,MGT検出器の多種多様なシナリオにおける一般化と適応性に関する知見を提供し,ロバストで適応的な検出システム構築の基礎を築いた。
• 参考スコア（独自算出の注目度）: 23.434925348283617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rising popularity of large language models (LLMs) has raised concerns about machine-generated text (MGT), particularly in academic settings, where issues like plagiarism and misinformation are prevalent. As a result, developing a highly generalizable and adaptable MGT detection system has become an urgent priority. Given that LLMs are most commonly misused in academic writing, this work investigates the generalization and adaptation capabilities of MGT detectors in three key aspects specific to academic writing: First, we construct MGT-Acedemic, a large-scale dataset comprising over 336M tokens and 749K samples. MGT-Acedemic focuses on academic writing, featuring human-written texts (HWTs) and MGTs across STEM, Humanities, and Social Sciences, paired with an extensible code framework for efficient benchmarking. Second, we benchmark the performance of various detectors for binary classification and attribution tasks in both in-domain and cross-domain settings. This benchmark reveals the often-overlooked challenges of attribution tasks. Third, we introduce a novel attribution task where models have to adapt to new classes over time without (or with very limited) access to prior training data in both few-shot and many-shot scenarios. We implement eight different adapting techniques to improve the performance and highlight the inherent complexity of the task. Our findings provide insights into the generalization and adaptation ability of MGT detectors across diverse scenarios and lay the foundation for building robust, adaptive detection systems. The code framework is available at https://github.com/Y-L-LIU/MGTBench-2.0.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の人気が高まり、特に学術的な環境では機械生成テキスト (MGT) に対する懸念が高まっている。 その結果,高度に一般化可能で適応可能なMGT検出システムの開発が最優先事項となっている。 LLMは、学術的な著作において最もよく使われていないことを踏まえ、この研究はMGT検出器の一般化と適応能力を、学術的な著作に特有の3つの重要な側面で研究している。 MGT-Acedemicは、STEM、人文科学、社会科学にまたがる人文テキスト(HWT)とMGTを、効率的なベンチマークを行うための拡張可能なコードフレームワークと組み合わせた、学術的な執筆に焦点を当てている。 第2に、ドメイン内およびクロスドメイン設定の両方において、バイナリ分類および帰属タスクのための様々な検出器の性能をベンチマークする。 このベンチマークは、しばしば見過ごされる属性タスクの課題を明らかにします。 第三に、モデルが時間とともに新しいクラスに適応し、(あるいは非常に制限された)事前トレーニングデータにアクセスすることなく、少数ショットと多ショットの両方のシナリオで、モデルが新しいクラスに適応しなければならない新しい属性タスクを導入します。 パフォーマンスを改善し、タスク固有の複雑さを強調するために、8つの異なる適応技術を実装します。 本研究は,MGT検出器の多種多様なシナリオにおける一般化と適応性に関する知見を提供し,ロバストで適応的な検出システム構築の基礎を築いた。 コードフレームワークはhttps://github.com/Y-L-LIU/MGTBench-2.0で公開されている。

関連論文リスト

• Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
  文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。 学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。 我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
  論文  参考訳（メタデータ） (2025-04-14T14:52:28Z)
• Aligning Multimodal LLM with Human Preference: A Survey [62.89722942008262]
  大規模言語モデル(LLM)は、タスク固有のトレーニングを必要とせずに、単純なプロンプトで幅広い汎用タスクを処理できる。 MLLM(Multimodal Large Language Models)は、視覚的、聴覚的、テキスト的データを含む複雑なタスクに対処する大きな可能性を実証している。 しかし、真理性、安全性、o1のような推論、および人間の嗜好との整合性に関する重要な問題は未解決のままである。
  論文  参考訳（メタデータ） (2025-03-18T17:59:56Z)
• EssayJudge: A Multi-Granular Benchmark for Assessing Automated Essay Scoring Capabilities of Multimodal Large Language Models [19.271790170055375]
  EssayJudgeは,語彙,文レベル,言論レベルの特性にまたがるAES能力を評価するための,最初のマルチモーダルベンチマークである。 18種類のMLLMを用いた実験では,特に談話レベルの特性において,人的評価と比較してAES性能の差が明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T15:31:59Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• One Arrow, Many Targets: Probing LLMs for Multi-Attribute Controllable Text Summarization [7.734726150561089]
  Multi-Attribute Controllable Summarization (MACS)は、自然言語処理(NLP)コミュニティの中で確立されたタスクである。 本研究は,大規模言語モデルのレンズを通してMACSタスクを調べることで,そのギャップに対処する。 2つの異なる制御可能な属性からの学習を統合するために,新しい階層型アダプタ融合手法を提案し,評価する。
  論文  参考訳（メタデータ） (2024-11-02T11:07:25Z)
• Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
  既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。 近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。 本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:47:11Z)
• Open-Vocabulary Object Detection with Meta Prompt Representation and Instance Contrastive Optimization [63.66349334291372]
  本稿ではメタプロンプトとインスタンスコントラスト学習(MIC)方式を用いたフレームワークを提案する。 まず、クラスとバックグラウンドのプロンプトを学習するプロンプトが新しいクラスに一般化するのを助けるために、新しいクラスエマージシナリオをシミュレートする。 第二に、クラス内コンパクト性とクラス間分離を促進するためのインスタンスレベルのコントラスト戦略を設計し、新しいクラスオブジェクトに対する検出器の一般化に寄与する。
  論文  参考訳（メタデータ） (2024-03-14T14:25:10Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection [69.41274756177336]
  大規模言語モデル (LLMs) は様々なチャネルにまたがる機械生成テキスト (MGT) を前例のない急激な増加をもたらした。 このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。 本稿では,MGT-M4GT-Benchの多言語,マルチドメイン,マルチジェネレータコーパスに基づく新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T02:50:33Z)
• LLM-as-a-Coauthor: Can Mixed Human-Written and Machine-Generated Text Be Detected? [13.813769457594216]
  現在の研究は主に、混合シナリオに適切に対処することなく、純粋なMGT検出に焦点を当てている。 AIと人為的コンテンツの両方を含む混合テキストの形式であるmixtextを定義します。 既存の検出器はミックステキストの識別に苦慮し,特に微妙な修正やスタイル適応性に対処している。
  論文  参考訳（メタデータ） (2024-01-11T14:44:08Z)
• Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
  大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。 Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-18T07:47:33Z)
• Accelerated materials language processing enabled by GPT [5.518792725397679]
  我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。 まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。 第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。 最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-18T07:31:13Z)
• Multi-modal Queried Object Detection in the Wild [72.16067634379226]
  MQ-Detは、現実世界のオブジェクト検出のための効率的なアーキテクチャと事前学習戦略設計である。 既存の言語クエリのみの検出器に視覚クエリを組み込む。 MQ-Detのシンプルで効果的なアーキテクチャとトレーニング戦略設計は、ほとんどの言語でクエリされたオブジェクト検出器と互換性がある。
  論文  参考訳（メタデータ） (2023-05-30T12:24:38Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。