論文の概要: Benchmarking the Detection of LLMs-Generated Modern Chinese Poetry

• arxiv url: http://arxiv.org/abs/2509.01620v1
• Date: Mon, 01 Sep 2025 17:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.791037
• Title: Benchmarking the Detection of LLMs-Generated Modern Chinese Poetry
• Title（参考訳）: 現代漢詩のLLM検出のベンチマーク
• Authors: Shanshan Wang, Junchao Wu, Fengying Ye, Jingming Yao, Lidia S. Chao, Derek F. Wong,
• Abstract要約: 詩が人間に由来するかAIに由来するかを特定することは困難である。 本稿では,AIによる現代漢詩の検出のための新しいベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 37.86155340473244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of advanced large language models (LLMs) has made AI-generated text indistinguishable from human-written text. Previous work on detecting AI-generated text has made effective progress, but has not involved modern Chinese poetry. Due to the distinctive characteristics of modern Chinese poetry, it is difficult to identify whether a poem originated from humans or AI. The proliferation of AI-generated modern Chinese poetry has significantly disrupted the poetry ecosystem. Based on the urgency of identifying AI-generated poetry in the real Chinese world, this paper proposes a novel benchmark for detecting LLMs-generated modern Chinese poetry. We first construct a high-quality dataset, which includes both 800 poems written by six professional poets and 41,600 poems generated by four mainstream LLMs. Subsequently, we conduct systematic performance assessments of six detectors on this dataset. Experimental results demonstrate that current detectors cannot be used as reliable tools to detect modern Chinese poems generated by LLMs. The most difficult poetic features to detect are intrinsic qualities, especially style. The detection results verify the effectiveness and necessity of our proposed benchmark. Our work lays a foundation for future detection of AI-generated poetry.
• Abstract（参考訳）: 先進的な大規模言語モデル(LLM)の急速な発展により、AIが生成したテキストは人間の文章と区別できないものとなった。 AI生成テキストの検出に関するこれまでの研究は、効果的に進展しているが、現代の漢詩には関与していない。 現代漢詩の特色から、その歌が人間かAIかを特定することは困難である。 AIが生み出した現代中国の詩の普及は、詩のエコシステムを著しく破壊した。 実世界におけるAI生成詩の発見の緊急性に基づき,LLMの生成する現代漢詩を検出するための新しいベンチマークを提案する。 まず、6人のプロの詩人によって書かれた800首の詩と、4つの主要なLLMによって生成された41,600首の詩を含む高品質なデータセットを構築した。 その後、このデータセット上で6つの検出器の系統的な性能評価を行う。 実験により,LLMが生成した現代漢詩を検出するための信頼性の高いツールとして,電流検出器は使用できないことが示された。 検出する最も難しい詩的特徴は本質的な性質、特にスタイルである。 その結果,提案したベンチマークの有効性と必要性が検証された。 我々の研究は、AIが生成した詩を将来発見するための基礎を築いた。

関連論文リスト

• Understanding Literary Texts by LLMs: A Case Study of Ancient Chinese Poetry [9.970908656435066]
  詩、ジョーク、短編小説などのジャンルにおいて、多くのAIツールが登場し、新たな視点を提供する。 文学作品を評価することは、しばしば複雑で、完全に定量化することは困難であり、AI創造のさらなる発展を妨げている。 本稿では,大規模言語モデルの観点から,文学テキストのミステリーを探究する。
  論文  参考訳（メタデータ） (2024-08-22T04:25:06Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Generation of Chinese classical poetry based on pre-trained model [1.6114012813668934]
  本稿では,主にBARTやその他の事前学習モデルを用いて,韻律的詩文を生成する。 一連のAI詩のチューリング問題を開発し、詩や詩を書く研究者のグループによってレビューされた。 著者が研究した詩文生成のモデルは、先進的な学者と区別できない作品を一般化している。
  論文  参考訳（メタデータ） (2022-11-04T16:05:31Z)
• Chinese Traditional Poetry Generating System Based on Deep Learning [0.0]
  本稿では,ディープラーニング技術に基づく漢詩の自動生成手法を提案する。 それぞれの詩からキーワードを抽出し、それらを前の文章と一致させて、その詩を主題に適合させる。 ユーザが文章の段落を入力すると、そのテーマを取得し、文によって詩文を生成する。
  論文  参考訳（メタデータ） (2021-10-24T02:43:03Z)
• CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
  本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。 この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。 このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
  論文  参考訳（メタデータ） (2021-06-03T16:49:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。