論文の概要: MultiSocial: Multilingual Benchmark of Machine-Generated Text Detection of Social-Media Texts

• arxiv url: http://arxiv.org/abs/2406.12549v1
• Date: Tue, 18 Jun 2024 12:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:07:52.600726
• Title: MultiSocial: Multilingual Benchmark of Machine-Generated Text Detection of Social-Media Texts
• Title（参考訳）: マルチソーシャル: ソーシャルメディアテキストのマシン生成テキスト検出の多言語ベンチマーク
• Authors: Dominik Macko, Jakub Kopal, Robert Moro, Ivan Srba,
• Abstract要約: MultiSocial データセットには 472,097 のテキストが含まれており、そのうち約58k が人文で書かれている。 このベンチマークを用いて、ゼロショットの既存の検出手法と微調整形式を比較した。 以上の結果から,微調整された検出器はソーシャルメディア上でのトレーニングに問題はないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.6053347262128919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent LLMs are able to generate high-quality multilingual texts, indistinguishable for humans from authentic human-written ones. Research in machine-generated text detection is however mostly focused on the English language and longer texts, such as news articles, scientific papers or student essays. Social-media texts are usually much shorter and often feature informal language, grammatical errors, or distinct linguistic items (e.g., emoticons, hashtags). There is a gap in studying the ability of existing methods in detection of such texts, reflected also in the lack of existing multilingual benchmark datasets. To fill this gap we propose the first multilingual (22 languages) and multi-platform (5 social media platforms) dataset for benchmarking machine-generated text detection in the social-media domain, called MultiSocial. It contains 472,097 texts, of which about 58k are human-written and approximately the same amount is generated by each of 7 multilingual LLMs. We use this benchmark to compare existing detection methods in zero-shot as well as fine-tuned form. Our results indicate that the fine-tuned detectors have no problem to be trained on social-media texts and that the platform selection for training matters.
• Abstract（参考訳）: 近年のLLMは、人間にとって本物の人書きテキストとは区別がつかない、高品質な多言語テキストを生成することができる。 しかし、機械によるテキスト検出の研究は、主に英語と、ニュース記事、科学論文、学生のエッセイなどのより長いテキストに焦点を当てている。 ソーシャルメディアのテキストは通常ずっと短く、しばしば非公式な言語、文法的な誤り、あるいは異なる言語的項目(例えば、エモティコン、ハッシュタグ)を特徴としている。 既存の多言語ベンチマークデータセットの欠如にも反映されるような,そのようなテキストの検出における既存手法の能力のギャップがある。 このギャップを埋めるために、MultiSocialと呼ばれるソーシャルメディアドメインにおいて、機械生成テキスト検出のベンチマークを行うための、最初のマルチ言語(22言語)とマルチプラットフォーム(5つのソーシャルメディアプラットフォーム)データセットを提案する。 472,097のテキストが含まれており、そのうち約58kは人書きであり、ほぼ同じ量は7つの多言語LLMによって生成される。 このベンチマークを用いて、ゼロショットの既存の検出手法と微調整形式を比較した。 以上の結果から, 微調整検出器はソーシャルメディア上での学習に問題はなく, 学習プラットフォームの選択も重要な課題であることが示唆された。

関連論文リスト

• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• SemEval-2024 Task 8: Multidomain, Multimodel and Multilingual Machine-Generated Text Detection [68.858931667807]
  Subtask Aは、テキストが人間によって書かれたか、機械によって生成されたかを決定するバイナリ分類タスクである。 サブタスクBは、テキストの正確なソースを検出し、それが人間によって書かれたか、特定のLCMによって生成されたかを認識する。 Subtask Cは、著者が人間から機械へ遷移するテキスト内の変化点を特定することを目的としている。
  論文  参考訳（メタデータ） (2024-04-22T13:56:07Z)
• MENTOR: Multilingual tExt detectioN TOward leaRning by analogy [59.37382045577384]
  本研究では,シーンイメージ内の視覚領域と見えない言語領域の両方を検出し,識別するフレームワークを提案する。 mentOR」は、ゼロショット学習と少数ショット学習の学習戦略を多言語シーンテキスト検出のために実現した最初の作品である。
  論文  参考訳（メタデータ） (2024-03-12T03:35:17Z)
• KInIT at SemEval-2024 Task 8: Fine-tuned LLMs for Multilingual Machine-Generated Text Detection [0.0]
  SemEval-2024 Task 8は、マルチジェネレータ、マルチドメイン、マルチランガルブラックボックスマシン生成テキスト検出に重点を置いている。 提案手法は,第4位にランクインし,勝者のわずか1ポイント未満の競争結果を得た。
  論文  参考訳（メタデータ） (2024-02-21T10:09:56Z)
• M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection [69.41274756177336]
  大規模言語モデル (LLMs) は様々なチャネルにまたがる機械生成テキスト (MGT) を前例のない急激な増加をもたらした。 このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。 本稿では,MGT-M4GT-Benchの多言語,マルチドメイン,マルチジェネレータコーパスに基づく新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T02:50:33Z)
• MULTITuDE: Large-Scale Multilingual Machine-Generated Text Detection Benchmark [10.92793962395538]
  MultiTuDEは、多言語マシン生成テキスト検出のための新しいベンチマークデータセットである。 11の言語で74,081の認証テキストと機械生成テキストで構成されている。 ゼロショット(統計とブラックボックス)と微調整検出器の性能を比較した。
  論文  参考訳（メタデータ） (2023-10-20T15:57:17Z)
• M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection [69.29017069438228]
  大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。 これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。 本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
  論文  参考訳（メタデータ） (2023-05-24T08:55:11Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• A Simple and Efficient Probabilistic Language model for Code-Mixed Text [0.0]
  コード混合テキストに対する効率的な単語埋め込みを構築するための単純な確率的アプローチを提案する。 双方向LSTMとSVMを用いた分類作業の有効性を検討した。
  論文  参考訳（メタデータ） (2021-06-29T05:37:57Z)
• Semi-automatic Generation of Multilingual Datasets for Stance Detection in Twitter [9.359018642178917]
  本稿では,Twitterにおける姿勢検出のための多言語データセットを得る手法を提案する。 ユーザベースの情報を利用して、大量のツイートを半自動でラベル付けします。
  論文  参考訳（メタデータ） (2021-01-28T13:05:09Z)
• BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation [42.34923623457615]
  Open-Ended Language Generationデータセットのバイアスは23,679の英語テキスト生成プロンプトで構成されている。 3つの人気のある言語モデルから生成されたテキストを調べると、これらのモデルの大半は、人によるウィキペディアのテキストよりも大きな社会的バイアスを示すことが明らかになっている。
  論文  参考訳（メタデータ） (2021-01-27T22:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。