Fugu-MT 論文翻訳(概要): IntegrityAI at GenAI Detection Task 2: Detecting Machine-Generated Academic Essays in English and Arabic Using ELECTRA and Stylometry

論文の概要: IntegrityAI at GenAI Detection Task 2: Detecting Machine-Generated Academic Essays in English and Arabic Using ELECTRA and Stylometry

arxiv url: http://arxiv.org/abs/2501.05476v1
Date: Tue, 07 Jan 2025 10:19:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-13 15:28:34.135190
Title: IntegrityAI at GenAI Detection Task 2: Detecting Machine-Generated Academic Essays in English and Arabic Using ELECTRA and Stylometry
Title（参考訳）: GenAI Detection Task 2におけるIntegityAI:ELECTRAとスティロメトリを用いた英語とアラビア語の機械による評価の検出
Authors: Mohammad AL-Smadi,
Abstract要約: 本研究は、アラビア語と英語の学術エッセイにタイポメトリックな特徴を取り入れた、事前訓練されたトランスフォーマーベースのモデルを利用する。 F1スコア99.7%、イングランド・サブタスク26チーム中2位98.4%、アラビア・サブタスク23チーム中1位となった。
参考スコア（独自算出の注目度）: 0.21756081703275998
License:
Abstract: Recent research has investigated the problem of detecting machine-generated essays for academic purposes. To address this challenge, this research utilizes pre-trained, transformer-based models fine-tuned on Arabic and English academic essays with stylometric features. Custom models based on ELECTRA for English and AraELECTRA for Arabic were trained and evaluated using a benchmark dataset. Proposed models achieved excellent results with an F1-score of 99.7%, ranking 2nd among of 26 teams in the English subtask, and 98.4%, finishing 1st out of 23 teams in the Arabic one.
Abstract（参考訳）: 近年,学術的な目的のために,機械によるエッセイを検出することの問題点が研究されている。この課題に対処するために、この研究は、アラビア語と英語の学術エッセイをテクスチャ的特徴で微調整した、事前訓練されたトランスフォーマーベースのモデルを利用する。英語のELECTRAとアラビア語のAraELECTRAに基づくカスタムモデルをトレーニングし、ベンチマークデータセットを用いて評価した。 F1スコア99.7%、イングランド・サブタスク26チーム中2位98.4%、アラビア・サブタスク23チーム中1位となった。

関連論文リスト

IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection [1.3686993145787067]
本稿では,IAIグループによるクレームの自動チェックハーネス評価への参加について述べる。このタスクには、英語、オランダ語、アラビア語の政治討論やTwitterのデータで、チェック価値のあるクレームを自動的に検出することが含まれる。我々は、様々な事前学習された生成デコーダとエンコーダ変換モデルを利用し、少数ショットチェーンオブ思考推論のような手法を用いる。
論文参考訳（メタデータ） (2024-08-02T08:59:09Z)
AutoBencher: Creating Salient, Novel, Difficult Datasets for Language Models [84.65095045762524]
3つのデシラタを言語モデルのための優れたベンチマークとして提示する。ベンチマークでは、以前のベンチマークでは示されていなかったモデルランキングの新しいトレンドが明らかになった。 AutoBencherを使って、数学、多言語、知識集約的な質問応答のためのデータセットを作成しています。
論文参考訳（メタデータ） (2024-07-11T10:03:47Z)
HYBRINFOX at CheckThat! 2024 -- Task 1: Enhancing Language Models with Structured Information for Check-Worthiness Estimation [0.8083061106940517]
本稿では,2024年 - タスク1コンペティションのためのHYBRINFOXチームの実験と結果について要約する。本稿では,RoBERTaのような言語モデルに三重項による埋め込みを組み込む手法を提案する。
論文参考訳（メタデータ） (2024-07-04T11:33:54Z)
ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文参考訳（メタデータ） (2024-02-20T09:07:41Z)
Legend at ArAIEval Shared Task: Persuasion Technique Detection using a Language-Agnostic Text Representation Model [1.3506669466260708]
本稿では,アラビアNLP 2023において,アラビアAIタスク評価チャレンジ(ArAIEval)への最高の成果を公表する。タスク1は、ツイートやニュース記事からの抜粋における説得テクニックを特定することに焦点を当てました。アラビア文字の説得法は,言語に依存しないテキスト表現モデルであるXLM-RoBERTaを用いて訓練ループを用いて検出された。
論文参考訳（メタデータ） (2023-10-14T20:27:04Z)
BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。 Transformerに基づいて、いくつかの有効な変種を適用します。本システムでは,0.810と0.946のCOMETスコアを達成している。
論文参考訳（メタデータ） (2022-11-28T02:35:04Z)
The Effect of Normalization for Bi-directional Amharic-English Neural Machine Translation [53.907805815477126]
本稿では,比較的大規模なアムハラ語-英語並列文データセットを提案する。我々は、既存のFacebook M2M100事前学習モデルを微調整することで、双方向のアムハラ語翻訳モデルを構築する。その結果, 両方向のアンハラ語・英語機械翻訳の性能は, アンハラ語ホモホン文字の正規化により向上することが示唆された。
論文参考訳（メタデータ） (2022-10-27T07:18:53Z)
RuArg-2022: Argument Mining Evaluation [69.87149207721035]
本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
論文参考訳（メタデータ） (2022-06-18T17:13:37Z)
Pre-trained Transformer-Based Approach for Arabic Question Answering : A Comparative Study [0.5801044612920815]
4つの読解データセットを用いて、アラビア語のQAに対する最先端の事前学習変圧器モデルの評価を行った。我々は, AraBERTv2-baseモデル, AraBERTv0.2-largeモデル, AraELECTRAモデルの性能を微調整し, 比較した。
論文参考訳（メタデータ） (2021-11-10T12:33:18Z)
AraGPT2: Pre-Trained Transformer for Arabic Language Generation [0.0]
我々は,インターネットテキストとニュース記事の巨大なアラビア語コーパスをスクラッチから学習した,最初の先進アラビア語言語生成モデルであるalagpt2を開発した。当社の最大のモデルであるAraGPT2-megaは、1.46億のパラメータを持ち、アラビア言語モデルとして最大です。テキスト生成では、wikipediaの記事に29.8のパープレキシティを達成する。
論文参考訳（メタデータ） (2020-12-31T09:48:05Z)
Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。