論文の概要: LLM Encoder vs. Decoder: Robust Detection of Chinese AI-Generated Text with LoRA

• arxiv url: http://arxiv.org/abs/2509.00731v1
• Date: Sun, 31 Aug 2025 07:51:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.364129
• Title: LLM Encoder vs. Decoder: Robust Detection of Chinese AI-Generated Text with LoRA
• Title（参考訳）: LLMエンコーダ対デコーダ:LoRAを用いた中国語AI生成テキストのロバスト検出
• Authors: Houji Jin, Negin Ashrafi, Armin Abdollahi, Wei Liu, Jian Wang, Ganyu Gui, Maryam Pishgar, Huanghao Feng,
• Abstract要約: 我々は、エンコーダベースのトランスフォーマー(中国のBERTラージとRoBERTa-wwm-ext-large)、デコーダのみのLCM(アリババのQwen2.5-7B/Deep-R1-Distill-Qwen-7B)、およびFastTextベースラインを比較した。 実験により、エンコーダモデルはトレーニングデータをほとんど記憶しているが、分散シフト時に顕著な性能劣化を被っていることが明らかになった。
• 参考スコア（独自算出の注目度）: 4.104443734934105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of large language models (LLMs) has heightened the demand for accurate detection of AI-generated text, particularly in languages like Chinese, where subtle linguistic nuances pose significant challenges to current methods. In this study, we conduct a systematic comparison of encoder-based Transformers (Chinese BERT-large and RoBERTa-wwm-ext-large), a decoder-only LLM (Alibaba's Qwen2.5-7B/DeepSeek-R1-Distill-Qwen-7B fine-tuned via Low-Rank Adaptation, LoRA), and a FastText baseline using the publicly available dataset from the NLPCC 2025 Chinese AI-Generated Text Detection Task. Encoder models were fine-tuned using a novel prompt-based masked language modeling approach, while Qwen2.5-7B was adapted for classification with an instruction-format input and a lightweight classification head trained via LoRA. Experiments reveal that although encoder models nearly memorize training data, they suffer significant performance degradation under distribution shifts (RoBERTa: 76.3% test accuracy; BERT: 79.3%). FastText demonstrates surprising lexical robustness (83.5% accuracy) yet lacks deeper semantic understanding. In contrast, the LoRA-adapted Qwen2.5-7B achieves 95.94% test accuracy with balanced precision-recall metrics, indicating superior generalization and resilience to dataset-specific artifacts. These findings underscore the efficacy of decoder-based LLMs with parameter-efficient fine-tuning for robust Chinese AI-generated text detection. Future work will explore next-generation Qwen3 models, distilled variants, and ensemble strategies to enhance cross-domain robustness further.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な成長により、特に中国語のような言語では、AI生成したテキストの正確な検出に対する需要が高まっている。 本研究では,エンコーダベースのトランスフォーマー(中国BERT大文字とRoBERTa-wwm-ext-large)と,デコーダのみのLLM(AlibabaのQwen2.5-7B/DeepSeek-R1-Distill-Qwen-7B)と,NLPCC 2025チャイニーズAI生成テキスト検出タスクから公開されているデータセットを用いて,FastTextベースラインを体系的に比較する。 エンコーダモデルは、新しいプロンプトベースのマスク付き言語モデリングアプローチを使用して微調整され、Qwen2.5-7Bは命令形式入力とLoRAで訓練された軽量な分類ヘッドで分類された。 実験の結果、エンコーダモデルはトレーニングデータをほぼ記憶しているが、分散シフトによって性能が著しく低下していることが判明した(RoBERTa:76.3%、BERT:79.3%)。 FastTextは驚くほどの語彙的堅牢性(83.5%の精度)を示すが、より深いセマンティック理解を欠いている。 対照的に、LoRAに適応したQwen2.5-7Bは95.94%のテスト精度とバランスの取れた精度を達成しており、データセット固有のアーティファクトに対する優れた一般化とレジリエンスを示している。 これらの知見は,中国の堅牢なAI生成テキスト検出のためのパラメータ効率の高い微調整による復号器を用いたLCMの有効性を裏付けるものである。 今後、次世代のQwen3モデル、蒸留された変種、さらにドメイン間の堅牢性を高めるためのアンサンブル戦略について検討する予定である。

関連論文リスト

• Text to Band Gap: Pre-trained Language Models as Encoders for Semiconductor Band Gap Prediction [5.812284760539713]
  半導体材料のバンドギャップを予測するための変換器ベース言語モデルであるRoBERTa,T5,LLaMAについて検討する。 本稿では,一貫したテンプレートにおける重要な特徴を組み合わせた構造化文字列と,ChatGPT APIを用いて生成した自然言語ナラティブの2つの形式で資料記述を構築する。 以上の結果から,言語モデル,特にデコーダのみのLLaMA-3アーキテクチャは,予測精度と柔軟性において従来の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T00:56:26Z)
• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• ESPERANTO: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination [1.8418334324753884]
  本稿では,検出を回避する新しい手法としてバックトランスレーションを紹介する。 本稿では、これらの裏書きされたテキストを組み合わせて、オリジナルのAI生成テキストの操作されたバージョンを生成するモデルを提案する。 我々は,この手法を,オープンソースと3つのプロプライエタリシステムを含む9つのAI検出器上で評価する。
  論文  参考訳（メタデータ） (2024-09-22T01:13:22Z)
• Are AI-Generated Text Detectors Robust to Adversarial Perturbations? [9.001160538237372]
  AI生成テキスト(AIGT)の現在の検出器は、敵の摂動に対する堅牢性を欠いている。 本稿では,既存のAIGT検出手法の堅牢性について検討し,新しい検出器であるシームズキャリブレーション・リコンストラクション・ネットワーク(SCRN)を導入する。 SCRNは、テキストからのノイズの追加と除去に再構成ネットワークを使用し、局所的な摂動に対して堅牢な意味表現を抽出する。
  論文  参考訳（メタデータ） (2024-06-03T10:21:48Z)
• Technical Report on the Pangram AI-Generated Text Classifier [0.14732811715354457]
  トランスフォーマーをベースとしたニューラルネットワークであるPangram Textについて紹介する。 パングラムテキストは英語以外の話者に偏りがなく、訓練中に見つからないドメインやモデルに一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-02-21T17:13:41Z)
• Context Perception Parallel Decoder for Scene Text Recognition [52.620841341333524]
  シーンテキスト認識手法は高い精度と高速な推論速度を達成するのに苦労している。 本稿では、STRにおけるARデコーディングの実証的研究を行い、ARデコーダが言語文脈をモデル化するだけでなく、視覚的文脈知覚のガイダンスも提供することを明らかにする。 我々は一連のCPPDモデルを構築し、提案したモジュールを既存のSTRデコーダにプラグインする。英語と中国語のベンチマーク実験により、CPPDモデルはARベースモデルよりも約8倍高速に動作し、高い競争精度を達成できることを示した。
  論文  参考訳（メタデータ） (2023-07-23T09:04:13Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)
• DPIC: Decoupling Prompt and Intrinsic Characteristics for LLM Generated Text Detection [56.513637720967566]
  大規模言語モデル(LLM)は、盗作、eコマースプラットフォームへの偽レビューの設置、炎症性偽ツイートなどの誤用のリスクを引き起こすテキストを生成することができる。 既存の高品質な検出手法では、本質的な特徴を抽出するために、モデルの内部にアクセスする必要がある。 ブラックボックスモデル生成テキストの深い内在特性を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T17:26:16Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。