論文の概要: MGTEVAL: An Interactive Platform for Systemtic Evaluation of Machine-Generated Text Detectors
- arxiv url: http://arxiv.org/abs/2604.25152v1
- Date: Tue, 28 Apr 2026 02:55:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.682225
- Title: MGTEVAL: An Interactive Platform for Systemtic Evaluation of Machine-Generated Text Detectors
- Title（参考訳）: MGTEVAL: 機械生成テキスト検出器のシステム評価のためのインタラクティブプラットフォーム
- Abstract要約: MGTEVALは、Machine-Generated Text(MGT)検出器のシステム評価のためのプラットフォームである。
ワークフローは、データセット構築、データセットアタック、インテグレータトレーニング、パフォーマンス評価の4つのコンポーネントにまとめられている。
LLMでMGTを生成し、テストセットに12のテキストアタックを適用し、統一されたインターフェースで検出器をトレーニングし、有効性、堅牢性、効率を報告することによって、カスタムベンチマークの構築をサポートする。
- 参考スコア（独自算出の注目度）: 27.446115628366915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present MGTEVAL, an extensible platform for systematic evaluation of Machine-Generated Text (MGT) detectors. Despite rapid progress in MGT detection, existing evaluations are often fragmented across datasets, preprocessing, attacks, and metrics, making results hard to compare and reproduce. MGTEVAL organizes the workflow into four components: Dataset Building, Dataset Attack, Detector Training, and Performance Evaluation. It supports constructing custom benchmarks by generating MGT with configurable LLMs, applying 12 text attacks to test sets, training detectors via a unified interface, and reporting effectiveness, robustness, and efficiency. The platform provides both command-line and Web-based interfaces for user-friendly experimentation without code rewriting.
- Abstract（参考訳）: MGTEVALは,Machine-Generated Text(MGT)検出器のシステム評価のための拡張可能なプラットフォームである。
MGT検出の急速な進歩にもかかわらず、既存の評価はデータセット、前処理、アタック、メトリクス間で断片化され、結果の比較と再現が困難になる。
MGTEVALはワークフローを、データセットビルディング、データセットアタック、インタクタトレーニング、パフォーマンス評価の4つのコンポーネントにまとめている。
MGTを設定可能なLLMで生成し、テストセットに12のテキストアタックを適用し、統一されたインターフェースで検出器をトレーニングし、有効性、堅牢性、効率を報告することで、カスタムベンチマークの構築をサポートする。
このプラットフォームは、コードを書き直すことなく、ユーザーフレンドリーな実験のためのコマンドラインとWebベースのインターフェイスを提供する。
関連論文リスト
- TSM-Bench: Detecting LLM-Generated Text in Real-World Wikipedia Editing Practices [3.304863806104706]
既存の検出ベンチマークは主にテキスト生成タスクに焦点を当てている。
エディタは、特定の書き込みタスクにLLMを頻繁に使用する。
これらのテキストittask固有のMGTインスタンスは、制約されたタスクの定式化と文脈条件付けのため、人間によるテキストによく似ている傾向にある。
我々は,多言語,マルチジェネレータ,テキストマルチタスクのベンチマークであるtextscTSM-Bench を導入し,一般的な実世界のウィキペディア編集タスク上でMGT検出器を評価する。
論文 参考訳（メタデータ） (2026-05-29T10:25:32Z) - When Personalization Tricks Detectors: The Feature-Inversion Trap in Machine-Generated Text Detection [64.23509202768945]
パーソナライズされた設定における検出ロバスト性を評価するための最初のベンチマークであるデータセットを紹介する。
実験により, 個別設定における検出器間の性能差が大きいことが示された。
パーソナライズされた設定における検出性能変化を簡易かつ信頼性の高い予測方法を提案する。
論文 参考訳（メタデータ） (2025-10-14T13:10:23Z) - CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。
トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。
また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文 参考訳（メタデータ） (2025-10-03T08:50:21Z) - DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。
そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。
MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
論文 参考訳（メタデータ） (2025-09-15T10:59:57Z) - LatteReview: A Multi-Agent Framework for Systematic Review Automation Using Large Language Models [0.2999888908665658]
LatteReviewはPythonベースのフレームワークで、大規模言語モデル(LLM)とマルチエージェントシステムを活用して、体系的なレビュープロセスの重要な要素を自動化する。
このフレームワークは、外部コンテキストを組み込むRetrieval-Augmented Generation (RAG)、マルチモーダルレビュー、構造化された入力と出力に対するPydanticベースの検証、大規模データセットを扱う非同期プログラミングなどの機能をサポートしている。
論文 参考訳（メタデータ） (2025-01-05T17:53:00Z) - On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing [23.434925348283617]
本研究では,MGT検出器の一般化と適応性について,学術書誌に特有の3つの重要な側面で検討する。
ドメイン内設定とドメイン間設定の両方において、バイナリ分類および帰属タスクのための様々な検出器の性能をベンチマークする。
本研究は,MGT検出器の多種多様なシナリオにおける一般化と適応性に関する知見を提供し,ロバストで適応的な検出システム構築の基礎を築いた。
論文 参考訳（メタデータ） (2024-12-23T03:30:34Z) - Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。
以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - OmniParser for Pure Vision Based GUI Agent [37.911094082816504]
複数のオペレーティングシステムの汎用エージェントとしてGPT-4Vのようなパワーマルチモーダルモデルは、堅牢なスクリーン解析技術が欠如しているため、大部分は過小評価されている。
textsc OmniはScreenSpotベンチマークでGPT-4Vのパフォーマンスを大幅に改善した。
textsc Omni スクリーンショットは GPT-4V ベースラインを上回り、スクリーンショット以外の追加情報を必要とする。
論文 参考訳（メタデータ） (2024-08-01T00:00:43Z) - Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。
DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。
テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-05-30T07:25:23Z) - MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。
MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
論文 参考訳（メタデータ） (2024-02-18T04:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。