論文の概要: Qwen it detect machine-generated text?
- arxiv url: http://arxiv.org/abs/2501.09813v1
- Date: Thu, 16 Jan 2025 19:59:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-20 14:00:01.686447
- Title: Qwen it detect machine-generated text?
- Title(参考訳): マシンが生成したテキストを検知する。
- Authors: Teodor-George Marchitan, Claudiu Creanga, Liviu P. Dinu,
- Abstract要約: 本稿では、Coling 2025 GenAI Workshopに取り組むUnibuc-NLPチームのアプローチについて述べる。
Subtask Aでは、36チーム中1位でF1 Micro(Auxiliary Score)が0.8333、F1 Macro(Main Score)が0.8301でした。
- 参考スコア(独自算出の注目度): 4.373647283459287
- License:
- Abstract: This paper describes the approach of the Unibuc - NLP team in tackling the Coling 2025 GenAI Workshop, Task 1: Binary Multilingual Machine-Generated Text Detection. We explored both masked language models and causal models. For Subtask A, our best model achieved first-place out of 36 teams when looking at F1 Micro (Auxiliary Score) of 0.8333, and second-place when looking at F1 Macro (Main Score) of 0.8301
- Abstract(参考訳): 本稿では,Unibuc-NLPチームがColing 2025 GenAI Workshop, Task 1: Binary Multilingual Machine-Generated Text Detectionに取り組む際のアプローチについて述べる。
マスク付き言語モデルと因果モデルの両方について検討した。
Subtask Aでは、36チーム中、0.8333のF1 Micro(Auxiliary Score)、0.8301のF1 Macro(Main Score)の2位で、最高のモデルで1位を獲得しました。
関連論文リスト
- Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection [0.0]
そこで本研究では,機械が生成したテキストを,そこから派生した大きな言語モデルが未知の場合に検出する問題について検討する。
生成型(またはベース)言語モデルと識別型(またはスコアリング型)言語モデルとが同一である場合に高い精度で、ゼロショットモデルを用いてテキスト検出を行う。
論文 参考訳(メタデータ) (2024-06-18T12:58:01Z) - Legend at ArAIEval Shared Task: Persuasion Technique Detection using a
Language-Agnostic Text Representation Model [1.3506669466260708]
本稿では,アラビアNLP 2023において,アラビアAIタスク評価チャレンジ(ArAIEval)への最高の成果を公表する。
タスク1は、ツイートやニュース記事からの抜粋における説得テクニックを特定することに焦点を当てました。
アラビア文字の説得法は,言語に依存しないテキスト表現モデルであるXLM-RoBERTaを用いて訓練ループを用いて検出された。
論文 参考訳(メタデータ) (2023-10-14T20:27:04Z) - Generative AI Text Classification using Ensemble LLM Approaches [0.12483023446237698]
大規模言語モデル(LLM)は、さまざまなAIや自然言語処理タスクで素晴らしいパフォーマンスを示している。
本研究では,異なる学習済みLLMから確率を生成するアンサンブルニューラルモデルを提案する。
AIと人間の生成したテキストを区別する最初のタスクとして、私たちのモデルは第5位と第13位にランクされた。
論文 参考訳(メタデータ) (2023-09-14T14:41:46Z) - An Open Dataset and Model for Language Identification [84.15194457400253]
マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。
モデルとデータセットの両方を研究コミュニティに公開しています。
論文 参考訳(メタデータ) (2023-05-23T08:43:42Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳(メタデータ) (2023-02-18T09:26:35Z) - Transformer-based Model for Word Level Language Identification in
Code-mixed Kannada-English Texts [55.41644538483948]
コードミキシングしたカンナダ英語テキストにおける単語レベル言語識別のためのトランスフォーマーベースモデルを提案する。
The proposed model on the CoLI-Kenglish dataset achieves a weighted F1-score of 0.84 and a macro F1-score of 0.61。
論文 参考訳(メタデータ) (2022-11-26T02:39:19Z) - RuArg-2022: Argument Mining Evaluation [69.87149207721035]
本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。
新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。
両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
論文 参考訳(メタデータ) (2022-06-18T17:13:37Z) - LayoutLMv3: Pre-training for Document AI with Unified Text and Image
Masking [83.09001231165985]
テキストと画像のマスキングを併用した文書AIのためのマルチモーダルトランスフォーマーを事前学習するためのLayoutLMv3を提案する。
単純な統一アーキテクチャとトレーニングの目的により、LayoutLMv3はテキスト中心および画像中心のDocument AIタスクの汎用的な事前トレーニングモデルになる。
論文 参考訳(メタデータ) (2022-04-18T16:19:52Z) - HinglishNLP: Fine-tuned Language Models for Hinglish Sentiment Detection [0.0]
この研究は感情分析に2つの一般的なアプローチを加えている。
NB-SVMはRoBERTaを6.2%(相対)F1で破った。
最高の演奏モデルは、0.707のF1を達成する多数投票アンサンブルである。
論文 参考訳(メタデータ) (2020-08-22T12:01:44Z) - Growing Together: Modeling Human Language Learning With n-Best
Multi-Checkpoint Machine Translation [8.9379057739817]
我々は、MTモデルを様々な訓練段階において、異なるレベルの人間の学習者とみなす。
我々は同じモデルから複数のチェックポイントのアンサンブルを用いて、様々なレベルの流速で翻訳シーケンスを生成する。
我々は、ポルトガル語の共有タスクテストデータに対して、公式英語の6つのチェックポイントモデルアンサンブルで37.57マクロF1を達成する。
論文 参考訳(メタデータ) (2020-06-07T05:46:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。