論文の概要: SemEval-2024 Task 8: Multidomain, Multimodel and Multilingual Machine-Generated Text Detection
- arxiv url: http://arxiv.org/abs/2404.14183v1
- Date: Mon, 22 Apr 2024 13:56:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 13:56:54.387817
- Title: SemEval-2024 Task 8: Multidomain, Multimodel and Multilingual Machine-Generated Text Detection
- Title（参考訳）: SemEval-2024 Task 8: Multi Domain, Multimodel and Multilingual Machine-Generated Text Detection
- Authors: Yuxia Wang, Jonibek Mansurov, Petar Ivanov, Jinyan Su, Artem Shelmanov, Akim Tsvigun, Osama Mohammed Afzal, Tarek Mahmoud, Giovanni Puccetti, Thomas Arnold, Chenxi Whitehouse, Alham Fikri Aji, Nizar Habash, Iryna Gurevych, Preslav Nakov,
- Abstract要約: Subtask Aは、テキストが人間によって書かれたか、機械によって生成されたかを決定するバイナリ分類タスクである。
サブタスクBは、テキストの正確なソースを検出し、それが人間によって書かれたか、特定のLCMによって生成されたかを認識する。
Subtask Cは、著者が人間から機械へ遷移するテキスト内の変化点を特定することを目的としている。
- 参考スコア（独自算出の注目度）: 68.858931667807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the results and the main findings of SemEval-2024 Task 8: Multigenerator, Multidomain, and Multilingual Machine-Generated Text Detection. The task featured three subtasks. Subtask A is a binary classification task determining whether a text is written by a human or generated by a machine. This subtask has two tracks: a monolingual track focused solely on English texts and a multilingual track. Subtask B is to detect the exact source of a text, discerning whether it is written by a human or generated by a specific LLM. Subtask C aims to identify the changing point within a text, at which the authorship transitions from human to machine. The task attracted a large number of participants: subtask A monolingual (126), subtask A multilingual (59), subtask B (70), and subtask C (30). In this paper, we present the task, analyze the results, and discuss the system submissions and the methods they used. For all subtasks, the best systems used LLMs.
- Abstract（参考訳）: SemEval-2024 Task 8: Multigenerator, Multi Domain, and Multilingual Machine-Generated Text Detection。
タスクには3つのサブタスクがあった。
Subtask Aは、テキストが人間によって書かれたか、機械によって生成されたかを決定するバイナリ分類タスクである。
このサブタスクには、英語のテキストのみに焦点を当てたモノリンガルトラックと、多言語トラックの2つのトラックがある。
サブタスクBは、テキストの正確なソースを検出し、それが人間によって書かれたか、特定のLCMによって生成されたかを認識する。
Subtask Cは、著者が人間から機械へ遷移するテキスト内の変化点を特定することを目的としている。
このタスクには、サブタスクA単言語(126)、サブタスクA多言語(1259)、サブタスクB(70)、サブタスクC(30)の多数の参加者が集まった。
本稿では,タスクを提示し,結果を分析し,システムへの提案と使用方法について議論する。
すべてのサブタスクに対して、最高のシステムはLLMを使用した。
関連論文リスト
- GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。
本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。
具体的には、コンピュータビジョンに適応したDETRのような検出モデルと組み合わせて、微調整の汎用LLMを用いて、テキスト内で人工的に生成された間隔をローカライズする。
論文 参考訳（メタデータ） (2024-10-31T08:30:55Z) - PetKaz at SemEval-2024 Task 8: Can Linguistics Capture the Specifics of LLM-generated Text? [4.463184061618504]
我々はSemEval-2024タスク8「マルチジェネレータ、マルチドメイン、ブラックボックスマシン生成テキスト検出」を提出する。
我々のアプローチは、RoBERTaベースからの埋め込みと多様性機能の組み合わせに依存し、再サンプリングされたトレーニングセットを使用する。
その結果,本手法は未知のモデルや領域にまたがって一般化可能であり,精度は0.91であることがわかった。
論文 参考訳（メタデータ） (2024-04-08T13:05:02Z) - SemEval-2024 Task 8: Weighted Layer Averaging RoBERTa for Black-Box Machine-Generated Text Detection [5.049812996253857]
この文書には、SemEval 2024のTask 8: Multigenerator, Multi Domain, and Multilingual Black-Box Machine- generated Text Detection Subtask A (monolingual) and Bの手順への著者の提出の詳細が含まれている。
論文 参考訳（メタデータ） (2024-02-24T17:44:56Z) - Fine-tuning Large Language Models for Multigenerator, Multidomain, and
Multilingual Machine-Generated Text Detection [3.6433784431752434]
SemEval-2024 Task 8は、多種多様な大言語モデル(LLM)から機械生成テキストを特定するという課題を導入する
タスクは3つのサブタスクから構成される: 単言語および多言語におけるバイナリ分類(Subtask A)、多クラス分類(Subtask B)、混合テキスト検出(Subtask C)。
論文 参考訳（メタデータ） (2024-01-22T19:39:05Z) - Multitask Multimodal Prompted Training for Interactive Embodied Task
Completion [48.69347134411864]
Embodied MultiModal Agent (EMMA) はエンコーダとデコーダの統一モデルである。
すべてのタスクをテキスト生成として統一することで、EMMAはタスク間の転送を容易にするアクション言語を学ぶ。
論文 参考訳（メタデータ） (2023-11-07T15:27:52Z) - Findings of the WMT 2022 Shared Task on Translation Suggestion [63.457874930232926]
We report the results of the first edition of the WMT shared task on Translation Suggestion。
このタスクは、機械翻訳(MT)によって生成された文書全体に対して、特定の単語やフレーズの代替手段を提供することを目的としている。
2つのサブタスク、すなわち単純翻訳提案と暗示付き翻訳提案で構成されている。
論文 参考訳（メタデータ） (2022-11-30T03:48:36Z) - Findings of the The RuATD Shared Task 2022 on Artificial Text Detection
in Russian [6.9244605050142995]
2022年に行われた対話評価イニシアチブの一環として組織されたロシア語における人工テキスト検出の共有タスクについて紹介する。
このデータセットには14のテキストジェネレータ、すなわち1人の人間ライターと13のテキスト生成モデルからのテキストが含まれている。
人書きのテキストは、複数のドメインにわたる公開リソースから収集される。
論文 参考訳（メタデータ） (2022-06-03T14:12:33Z) - FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。
FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。
3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
論文 参考訳（メタデータ） (2022-05-12T17:59:00Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳（メタデータ） (2022-04-16T16:08:38Z) - GUIR at SemEval-2020 Task 12: Domain-Tuned Contextualized Models for
Offensive Language Detection [27.45642971636561]
OffensEval 2020タスクには、攻撃的言語(Sub-task A)の存在の特定、攻撃的言語(Sub-task B)のターゲットの存在の特定、ターゲットのカテゴリ(Sub-task C)の識別の3つのサブタスクが含まれている。
サブタスクAのF1スコアは91.7%、サブタスクBの66.5%、サブタスクCの63.2%である。
論文 参考訳（メタデータ） (2020-07-28T20:45:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。