論文の概要: TSM-Bench: Detecting LLM-Generated Text in Real-World Wikipedia Editing Practices
- arxiv url: http://arxiv.org/abs/2605.31113v1
- Date: Fri, 29 May 2026 10:25:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.536732
- Title: TSM-Bench: Detecting LLM-Generated Text in Real-World Wikipedia Editing Practices
- Title（参考訳）: TSM-Bench: リアルワールドウィキペディア編集におけるLLM生成テキストの検出
- Abstract要約: 既存の検出ベンチマークは主にテキスト生成タスクに焦点を当てている。
エディタは、特定の書き込みタスクにLLMを頻繁に使用する。
これらのテキストittask固有のMGTインスタンスは、制約されたタスクの定式化と文脈条件付けのため、人間によるテキストによく似ている傾向にある。
我々は,多言語,マルチジェネレータ,テキストマルチタスクのベンチマークであるtextscTSM-Bench を導入し,一般的な実世界のウィキペディア編集タスク上でMGT検出器を評価する。
- 参考スコア（独自算出の注目度）: 3.304863806104706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatically detecting machine-generated text (MGT) is critical to maintaining the knowledge integrity of user-generated content (UGC) platforms such as Wikipedia. Existing detection benchmarks primarily focus on \textit{generic} text generation tasks (e.g., ``Write an article about machine learning.''). However, editors frequently employ LLMs for specific writing tasks (e.g., summarisation). These \textit{task-specific} MGT instances tend to resemble human-written text more closely due to their constrained task formulation and contextual conditioning. In this work, we show that a range of SOTA MGT detectors struggle to identify task-specific MGT reflecting real-world editing on Wikipedia. We introduce \textsc{TSM-Bench}, a multilingual, multi-generator, and \textit{multi-task} benchmark for evaluating MGT detectors on common, real-world Wikipedia editing tasks. Our findings demonstrate that (\textit{i}) average detection accuracy drops by 10--40\% compared to prior benchmarks, and (\textit{ii}) a generalisation asymmetry exists: fine-tuning on task-specific data enables generalisation to generic data -- even across domains -- but not vice versa. We demonstrate that models fine-tuned exclusively on generic MGT overfit to superficial artefacts of machine generation. Our results suggest that, in contrast to prior benchmarks, most detectors remain unreliable for automated detection in real-world contexts such as UGC platforms. \textsc{TSM-Bench} therefore provides a critical foundation for developing and evaluating future models.
- Abstract（参考訳）: 機械生成テキスト(MGT)の自動検出は、ウィキペディアのようなユーザ生成コンテンツ(UGC)プラットフォームの知識の整合性を維持するために重要である。
既存の検出ベンチマークは、主にテキスト生成タスク(例: ``Write an article about machine learning')に焦点を当てている。
しかし、編集者は特定の記述タスク(例えば要約)にLLMを使うことが多い。
これらの \textit{task-specific} MGT インスタンスは、制約されたタスクの定式化やコンテキスト条件付けのため、人間記述のテキストによく似ている。
本研究では,様々なSOTA MGT検出器が,ウィキペディアにおける実世界の編集を反映したタスク固有のMGTを特定するのに苦労していることを示す。
汎用のウィキペディア編集タスク上でMGT検出器を評価するために,多言語,多世代,および \textit{multi-task} ベンチマークである \textsc{TSM-Bench} を導入する。
その結果, (\textit{i}) 平均検出精度は以前のベンチマークに比べて10～40倍低下し, (\textit{ii}) 一般化非対称性が存在することがわかった。
我々は,汎用MGTオーバーフィットにのみ微調整されたモデルが,マシン生成の表層人工物に適合していることを実証した。
従来のベンチマークとは対照的に,ほとんどの検出器は,UGCプラットフォームなどの実環境における自動検出には信頼性が低いことが示唆された。
したがって \textsc{TSM-Bench} は将来のモデルを開発し評価するための重要な基盤を提供する。
関連論文リスト
- Hidden Human-Like Nature of Machine-Generated Texts: Theory and Detection Enhancement [108.30620357325559]
大規模言語モデル(LLM)が生成する機械生成テキスト(MGT)は、様々なアプリケーションでますます普及している。
既存の段落レベルの検出方法はMGTを完全に機械のような扱いで、MGTの隠れた人間的な性質を見渡す。
本研究では,隠れた人型スパンの影響を低減し,既存の検出器を改良するモデルに依存しないスタック拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-22T03:17:21Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳（メタデータ） (2026-02-09T11:44:15Z) - DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。
そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。
MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
論文 参考訳（メタデータ） (2025-09-15T10:59:57Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - WETBench: A Benchmark for Detecting Task-Specific Machine-Generated Text on Wikipedia [2.255682336735152]
既存の研究は主にジェネリックジェネレーションタスクにおけるMGT検出器を評価する。
MGT検出のための多言語,マルチジェネレータ,タスク固有ベンチマークを提案する。
設定によって、トレーニングベースの検出器は平均精度78%、ゼロショット検出器は平均58%に達する。
論文 参考訳（メタデータ） (2025-07-04T08:13:10Z) - Stress-testing Machine Generated Text Detection: Shifting Language Models Writing Style to Fool Detectors [4.7713095161046555]
本稿では,最新のMGT検出器の言語情報による敵攻撃に対するレジリエンスをテストするパイプラインを提案する。
我々は、MGTスタイルを人文テキスト(HWT)にシフトするために、言語モデルを微調整する。
これは検出器が構造的な手がかりに頼っていることを悪用し、新しい世代を検知することがより困難になる。
論文 参考訳（メタデータ） (2025-05-30T12:33:30Z) - On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing [23.434925348283617]
本研究では,MGT検出器の一般化と適応性について,学術書誌に特有の3つの重要な側面で検討する。
ドメイン内設定とドメイン間設定の両方において、バイナリ分類および帰属タスクのための様々な検出器の性能をベンチマークする。
本研究は,MGT検出器の多種多様なシナリオにおける一般化と適応性に関する知見を提供し,ロバストで適応的な検出システム構築の基礎を築いた。
論文 参考訳（メタデータ） (2024-12-23T03:30:34Z) - LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection [87.43727192273772]
テキストが人間の書いたものなのか、機械で作られたものなのかを判断するのは、しばしば困難である。
細粒度検出のためのLLM-DetectAIveを提案する。
i) 人書き、ii) 機械生成、(iii) 機械書、次いで機械書、(iv) 人書き、そして機械ポリッシュの4つのカテゴリをサポートする。
論文 参考訳（メタデータ） (2024-08-08T07:43:17Z) - M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection [69.41274756177336]
大規模言語モデル (LLMs) は様々なチャネルにまたがる機械生成テキスト (MGT) を前例のない急激な増加をもたらした。
このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。
本稿では,MGT-M4GT-Benchの多言語,マルチドメイン,マルチジェネレータコーパスに基づく新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2024-02-17T02:50:33Z) - TextMachina: Seamless Generation of Machine-Generated Text Datasets [2.4578723416255754]
TextMachinaは、高品質でバイアスのないデータセットの作成を支援するために設計されたPythonフレームワークである。
MGTデータセット構築の固有の複雑さを抽象化する、ユーザフレンドリなパイプラインを提供する。
TextMachinaが生成したデータセットの品質は、以前の研究で評価されている。
論文 参考訳（メタデータ） (2024-01-08T15:05:32Z) - M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box
Machine-Generated Text Detection [69.29017069438228]
大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。
これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。
本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
論文 参考訳（メタデータ） (2023-05-24T08:55:11Z) - FETA: Towards Specializing Foundation Models for Expert Task
Applications [49.57393504125937]
ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。
この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。
本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
論文 参考訳（メタデータ） (2022-09-08T08:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。