論文の概要: ALHD: A Large-Scale and Multigenre Benchmark Dataset for Arabic LLM-Generated Text Detection

• arxiv url: http://arxiv.org/abs/2510.03502v1
• Date: Fri, 03 Oct 2025 20:27:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.077343
• Title: ALHD: A Large-Scale and Multigenre Benchmark Dataset for Arabic LLM-Generated Text Detection
• Title（参考訳）: ALHD:アラビア語LLM生成テキスト検出のための大規模・マルチジャンルベンチマークデータセット
• Authors: Ali Khairallah, Arkaitz Zubiaga,
• Abstract要約: ALHDは、人間とLLM生成したテキストを区別するために明示的に設計された、最初の大規模包括的なアラビア語データセットである。 ALHDは3つのジャンル(ニュース、ソーシャルメディア、レビュー)にまたがっており、MSAと方言のアラビア語の両方をカバーしている。 厳格な事前処理、リッチアノテーション、標準化されたバランスの取れた分割を提供します。
• 参考スコア（独自算出の注目度）: 9.866690791407464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ALHD, the first large-scale comprehensive Arabic dataset explicitly designed to distinguish between human- and LLM-generated texts. ALHD spans three genres (news, social media, reviews), covering both MSA and dialectal Arabic, and contains over 400K balanced samples generated by three leading LLMs and originated from multiple human sources, which enables studying generalizability in Arabic LLM-genearted text detection. We provide rigorous preprocessing, rich annotations, and standardized balanced splits to support reproducibility. In addition, we present, analyze and discuss benchmark experiments using our new dataset, in turn identifying gaps and proposing future research directions. Benchmarking across traditional classifiers, BERT-based models, and LLMs (zero-shot and few-shot) demonstrates that fine-tuned BERT models achieve competitive performance, outperforming LLM-based models. Results are however not always consistent, as we observe challenges when generalizing across genres; indeed, models struggle to generalize when they need to deal with unseen patterns in cross-genre settings, and these challenges are particularly prominent when dealing with news articles, where LLM-generated texts resemble human texts in style, which opens up avenues for future research. ALHD establishes a foundation for research related to Arabic LLM-detection and mitigating risks of misinformation, academic dishonesty, and cyber threats.
• Abstract（参考訳）: ALHDは、人間とLLM生成したテキストを区別するために明示的に設計された、最初の大規模包括的なアラビア語データセットである。 ALHDは、3つのジャンル(ニュース、ソーシャルメディア、レビュー)にまたがっており、MSAと方言のアラビア語の両方をカバーし、3つの主要なLCMによって生成された400K以上のバランスの取れたサンプルを含んでいる。 再現性をサポートするために、厳格な前処理、リッチアノテーション、標準化されたバランスの取れた分割を提供します。 さらに,新たなデータセットを用いてベンチマーク実験を実施し,分析し,議論し,ギャップを識別し,今後の研究方向性を提案する。 従来の分類器、BERTベースのモデル、LLM(ゼロショットおよび少数ショット)のベンチマークは、細調整されたBERTモデルがLLMベースのモデルよりも優れた競争性能を達成することを示す。 しかし、ジャンルをまたいで一般化する際の課題は必ずしも一貫したものではない; 実際、モデルは、異種間における見知らぬパターンに対処する必要がある場合、一般化に苦慮し、これらの課題はニュース記事を扱う際に特に顕著であり、LLM生成したテキストは人間の文章に似ており、将来の研究の道を開く。 ALHDは、アラビア語のLLM検出に関する研究の基盤を確立し、誤情報や学術的不正、サイバー脅威のリスクを軽減している。

関連論文リスト

• The Arabic AI Fingerprint: Stylometric Analysis and Detection of Large Language Models Text [0.05399757380241794]
  大型言語モデル(LLM)は、人間のようなテキストを生成する際、前例のない能力を達成した。 本稿ではアラビア語機械生成テキストの包括的調査について述べる。 我々は,形式的文脈における異常な性能を実現するBERTに基づく検出モデルを開発した。
  論文  参考訳（メタデータ） (2025-05-29T09:24:00Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• ViLBias: Detecting and Reasoning about Bias in Multimodal Content [6.710013984078675]
  ViLBiasは、マルチモーダルニュースにおけるバイアスの検出と推論のためのフレームワークである。 データセットは40,945のテキストペアで構成されている。 その結果,テキストによる画像の検出精度は3～5%向上した。
  論文  参考訳（メタデータ） (2024-12-22T15:05:30Z)
• When Text Embedding Meets Large Language Model: A Comprehensive Survey [17.263184207651072]
  この調査は、大きな言語モデル(LLM)とテキスト埋め込みの相互作用に焦点を当てている。 様々な研究および応用分野からの貢献の、新しく体系的な概要を提供する。 この分析に基づいて,テキスト埋め込みの進化に向けた今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-12-12T10:50:26Z)
• Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
  大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。 中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。 このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。