論文の概要: IMGTB: A Framework for Machine-Generated Text Detection Benchmarking
- arxiv url: http://arxiv.org/abs/2311.12574v1
- Date: Tue, 21 Nov 2023 12:40:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 00:40:15.702789
- Title: IMGTB: A Framework for Machine-Generated Text Detection Benchmarking
- Title(参考訳): IMGTB: 機械生成テキスト検出ベンチマークのためのフレームワーク
- Authors: Michal Spiegel and Dominik Macko
- Abstract要約: 本稿では,機械生成テキスト検出手法のベンチマークを簡略化するIMGTBフレームワークを提案する。
ツールが提供する分析、メトリクス、視覚化のデフォルトセットは、マシン生成テキスト検出ベンチマークの確立したプラクティスに従っている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the era of large language models generating high quality texts, it is a
necessity to develop methods for detection of machine-generated text to avoid
harmful use or simply due to annotation purposes. It is, however, also
important to properly evaluate and compare such developed methods. Recently, a
few benchmarks have been proposed for this purpose; however, integration of
newest detection methods is rather challenging, since new methods appear each
month and provide slightly different evaluation pipelines. In this paper, we
present the IMGTB framework, which simplifies the benchmarking of
machine-generated text detection methods by easy integration of custom (new)
methods and evaluation datasets. Its configurability and flexibility makes
research and development of new detection methods easier, especially their
comparison to the existing state-of-the-art detectors. The default set of
analyses, metrics and visualizations offered by the tool follows the
established practices of machine-generated text detection benchmarking found in
state-of-the-art literature.
- Abstract(参考訳): 高品質テキストを生成する大規模言語モデルの時代においては、有害な使用を避けるために、あるいは単にアノテーション目的のために、機械生成テキストを検出する方法を開発する必要がある。
しかし,このような手法を適切に評価し,比較することは重要である。
近年、この目的のためにいくつかのベンチマークが提案されているが、新しい手法が毎月登場し、若干異なる評価パイプラインを提供するため、最新の検出方法の統合はやや難しい。
本稿では、カスタム(新しい)メソッドと評価データセットを容易に統合することで、機械生成テキスト検出手法のベンチマークを簡素化するIGGTBフレームワークを提案する。
その構成性と柔軟性は、新しい検出方法の研究と開発を容易にし、特に既存の最先端検出器と比較する。
ツールが提供する分析、メトリクス、視覚化のデフォルトセットは、最先端の文献に見られる機械生成テキスト検出ベンチマークの確立したプラクティスに従っている。
関連論文リスト
- Generative AI-Based Text Generation Methods Using Pre-Trained GPT-2 Model [2.6320841968362645]
この研究は自動テキスト生成の領域を掘り下げ、伝統的な決定論的アプローチからより近代的な手法まで様々な手法を探求した。
欲求探索、ビームサーチ、トップクサンプリング、トップpサンプリング、コントラスト探索、および局所的な典型探索の分析を通じて、この研究は各手法の強み、弱み、および潜在的な応用に関する貴重な洞察を与えてきた。
論文 参考訳(メタデータ) (2024-04-02T09:49:53Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - Multiscale Positive-Unlabeled Detection of AI-Generated Texts [27.956604193427772]
短文検出の難しさに対処するため,MPUトレーニングフレームワークを提案する。
MPU法は、長いAI生成テキストの検出性能を向上し、言語モデル検出器の短文検出を大幅に改善する。
論文 参考訳(メタデータ) (2023-05-29T15:25:00Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳(メタデータ) (2023-03-26T21:12:36Z) - Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。
同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文 参考訳(メタデータ) (2022-05-15T12:58:35Z) - On Exploring and Improving Robustness of Scene Text Detection Models [20.15225372544634]
我々はシーンテキスト検出モデル ICDAR2015-C (IC15-C) と CTW1500-C (CTW-C) を評価した。
我々は、事前学習データ、バックボーン、機能融合モジュール、マルチスケール予測、テキストインスタンスの表現、損失関数の6つの重要なコンポーネントのロバストネス分析を行う。
本研究では,背景と前景を融合することでテキスト領域の滑らかさを破壊する,シンプルで効果的なデータベース手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T02:36:48Z) - Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。
統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。
包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
論文 参考訳(メタデータ) (2021-07-25T13:18:55Z) - MOST: A Multi-Oriented Scene Text Detector with Localization Refinement [67.35280008722255]
シーンテキスト検出のための新しいアルゴリズムを提案し、テキストローカリゼーションの品質を大幅に向上させる一連の戦略を提案する。
具体的には,テキスト・フィーチャー・アライメント・モジュール (TFAM) を提案し,特徴の受容領域を動的に調整する。
信頼できないものを排除するために、位置認識非最大抑制(PA-NMS)モジュールを考案する。
論文 参考訳(メタデータ) (2021-04-02T14:34:41Z) - Scene Text Detection with Scribble Lines [59.698806258671105]
テキスト検出のための多角形の代わりにスクリブル線でテキストをアノテートすることを提案する。
さまざまな形状のテキストの一般的なラベリング方法であり、ラベリングコストが低くなります。
実験の結果,提案手法は弱ラベル法と元のポリゴン系ラベリング法との間の性能ギャップを橋渡しすることを示した。
論文 参考訳(メタデータ) (2020-12-09T13:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。