論文の概要: OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution

• arxiv url: http://arxiv.org/abs/2504.11369v1
• Date: Tue, 15 Apr 2025 16:36:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:12:26.875313
• Title: OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution
• Title（参考訳）: OpenTuringBench: マシン生成テキストの検出と属性のためのオープンモデルベースのベンチマークとフレームワーク
• Authors: Lucio La Cava, Andrea Tagarelli,
• Abstract要約: Open Large Language Models (OLLM) は、生成AIアプリケーションにますます活用されている。 OLLMをベースとした新しいベンチマークであるOpenTuringBenchを提案する。
• 参考スコア（独自算出の注目度）: 4.742123770879715
• License:
• Abstract: Open Large Language Models (OLLMs) are increasingly leveraged in generative AI applications, posing new challenges for detecting their outputs. We propose OpenTuringBench, a new benchmark based on OLLMs, designed to train and evaluate machine-generated text detectors on the Turing Test and Authorship Attribution problems. OpenTuringBench focuses on a representative set of OLLMs, and features a number of challenging evaluation tasks, including human/machine-manipulated texts, out-of-domain texts, and texts from previously unseen models. We also provide OTBDetector, a contrastive learning framework to detect and attribute OLLM-based machine-generated texts. Results highlight the relevance and varying degrees of difficulty of the OpenTuringBench tasks, with our detector achieving remarkable capabilities across the various tasks and outperforming most existing detectors. Resources are available on the OpenTuringBench Hugging Face repository at https://huggingface.co/datasets/MLNTeam-Unical/OpenTuringBench
• Abstract（参考訳）: Open Large Language Models (OLLM)は、生成AIアプリケーションにますます活用され、アウトプットを検出するための新たな課題を提起している。 我々は、チューリングテストおよびオーサシップ属性問題に基づいて、機械生成テキスト検出器をトレーニングし、評価するための、OLLMに基づく新しいベンチマークであるOpenTuringBenchを提案する。 OpenTuringBenchはOLLMの代表的セットに重点を置いており、人間/機械が操作するテキスト、ドメイン外テキスト、以前は見つからなかったモデルのテキストなど、いくつかの困難な評価タスクを特徴としている。 OTBDetectorは,OLLMベースの機械生成テキストを検出・属性化するためのコントラスト学習フレームワークである。 その結果、OpenTuringBenchタスクの関連性や難易度が明らかになり、検出器は様々なタスクにまたがって優れた能力を発揮し、既存の検出器よりも優れています。 リソースは、https://huggingface.co/datasets/MLNTeam-Unical/OpenTuringBenchにあるOpenTuringBench Hugging Faceリポジトリで入手できる。

関連論文リスト

• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• RKadiyala at SemEval-2024 Task 8: Black-Box Word-Level Text Boundary Detection in Partially Machine Generated Texts [0.0]
  本稿では,与えられたテキストのどの部分が単語レベルで生成されたかを特定するための信頼性の高いアプローチをいくつか紹介する。 本稿では,プロプライエタリシステムとの比較,未確認領域におけるモデルの性能,ジェネレータのテキストの比較を行う。 その結果,検出能の他の側面との比較とともに,検出精度が著しく向上した。
  論文  参考訳（メタデータ） (2024-10-22T03:21:59Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Making Text Embedders Few-Shot Learners [33.50993377494602]
  本稿では,高品質なテキスト埋め込みを実現するために,少数の例を用いた新しいモデルbge-en-iclを提案する。 提案手法では,タスク関連例をクエリ側に直接統合することで,タスク間の大幅な改善を実現している。 MTEBおよびAIR-Benchベンチマークによる実験結果から,本手法がSOTA(State-of-the-art)性能を新たに設定することを示す。
  論文  参考訳（メタデータ） (2024-09-24T03:30:19Z)
• Marking: Visual Grading with Highlighting Errors and Annotating Missing Bits [23.71250100390303]
  マーキング(Marking)は、学生の反応の詳細な分析を行うことにより、自動階調システムを強化する新しい階調タスクである。 本稿では,この課題に特化して,主観的課題エキスパートが慎重にキュレートした新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-04-22T16:00:46Z)
• FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
  より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。 大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:51Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• MMOCR: A Comprehensive Toolbox for Text Detection, Recognition and Understanding [70.16678926775475]
  MMOCRは、テキストの検出と認識のためのオープンソースのツールボックスである。 それは14の最先端のアルゴリズムを実装しており、これは私たちが現在知っているすべてのオープンソースのOCRプロジェクトよりも多い。
  論文  参考訳（メタデータ） (2021-08-14T14:10:23Z)
• GENIE: A Leaderboard for Human-in-the-Loop Evaluation of Text Generation [83.10599735938618]
  リーダーボードは、評価を標準化し、独立した外部リポジトリに委譲することで、多くのNLPデータセットのモデル開発を容易にしています。 本研究では、テキスト生成タスクにリーダーボードの容易さをもたらす人間評価リーダーボードであるGENIEを紹介します。
  論文  参考訳（メタデータ） (2021-01-17T00:40:47Z)
• RoFT: A Tool for Evaluating Human Detection of Machine-Generated Text [25.80571756447762]
  われわれはReal or Fake Text (RoFT)を紹介した。 本稿では,RoFTを用いたニュース記事の検出結果について述べる。
  論文  参考訳（メタデータ） (2020-10-06T22:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。