論文の概要: LLM-as-a-Coauthor: The Challenges of Detecting LLM-Human Mixcase

• arxiv url: http://arxiv.org/abs/2401.05952v1
• Date: Thu, 11 Jan 2024 14:44:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 14:20:07.884976
• Title: LLM-as-a-Coauthor: The Challenges of Detecting LLM-Human Mixcase
• Title（参考訳）: LLM-as-a-coauthor: The Challenges of Detecting LLM-Human Mixcase
• Authors: Chujie Gao, Dongping Chen, Qihui Zhang, Yue Huang, Yao Wan, Lichao Sun
• Abstract要約: 機械生成コンテンツと人間生成コンテンツの両方を含むハイブリッドテキスト形式を表現する新しい概念であるmixcaseを紹介した。 我々は,MGT検出器の有効性を評価する実験を行い,その有効性,堅牢性,性能の一般化を評価した。 この研究は、ミックスケース用に調整されたより微細な検出器が緊急に必要であることを示すもので、将来の研究に有用な洞察を提供する。
• 参考スコア（独自算出の注目度）: 17.584935072725028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the remarkable development and widespread applications of large language models (LLMs), the use of machine-generated text (MGT) is becoming increasingly common. This trend brings potential risks, particularly to the quality and completeness of information in fields such as news and education. Current research predominantly addresses the detection of pure MGT without adequately addressing mixed scenarios including AI-revised Human-Written Text (HWT) or human-revised MGT. To confront this challenge, we introduce mixcase, a novel concept representing a hybrid text form involving both machine-generated and human-generated content. We collected mixcase instances generated from multiple daily text-editing scenarios and composed MixSet, the first dataset dedicated to studying these mixed modification scenarios. We conduct experiments to evaluate the efficacy of popular MGT detectors, assessing their effectiveness, robustness, and generalization performance. Our findings reveal that existing detectors struggle to identify mixcase as a separate class or MGT, particularly in dealing with subtle modifications and style adaptability. This research underscores the urgent need for more fine-grain detectors tailored for mixcase, offering valuable insights for future research. Code and Models are available at https://github.com/Dongping-Chen/MixSet.
• Abstract（参考訳）: 大規模言語モデル(LLM)の顕著な開発と普及により、機械生成テキスト(MGT)の使用はますます一般的になりつつある。 この傾向は、特にニュースや教育などの分野の情報の品質と完全性に潜在的なリスクをもたらす。 近年の研究では、AI改訂HWT(Human-Written Text)や人間改訂MGT(Human-Written Text)といった混合シナリオに適切に対処することなく、純粋なMGTの検出に対処している。 この課題に対処すべく,マシン生成とヒューマン生成の両方を含むハイブリッドテキスト形式を表す新しいコンセプトであるmixcaseを紹介する。 複数の日々のテキスト編集シナリオから生成されたmixcaseインスタンスを収集し、これらの混合変更シナリオを研究するための最初のデータセットであるmixsetを組み立てた。 我々は,MGT検出器の有効性を評価し,その有効性,堅牢性,一般化性能を評価する実験を行った。 既存の検出器では,特に微妙な修正やスタイル適応性に対処するために,混合ケースを別のクラス(MGT)として識別することが困難であることが判明した。 この研究は、mixcase用に調整されたより微細な検出器の必要性を緊急に高め、将来の研究に有用な洞察を提供する。 コードとモデルはhttps://github.com/Dongping-Chen/MixSet.comで入手できる。

関連論文リスト

• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• AMPLE: Emotion-Aware Multimodal Fusion Prompt Learning for Fake News Detection [0.1499944454332829]
  本稿では,Emotion-textbfAware textbfMultimodal Fusion textbfPrompt textbfLtextbfEarning (textbfAMPLE) フレームワークについて述べる。 このフレームワークは感情分析ツールを利用してテキストから感情要素を抽出する。 次に、マルチヘッドクロスアテンション(MCA)機構と類似性を考慮した融合手法を用いて、マルチモーダルデータを統合する。
  論文  参考訳（メタデータ） (2024-10-21T02:19:24Z)
• M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection [69.41274756177336]
  大規模言語モデル (LLMs) は様々なチャネルにまたがる機械生成テキスト (MGT) を前例のない急激な増加をもたらした。 このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。 本稿では,MGT-M4GT-Benchの多言語,マルチドメイン,マルチジェネレータコーパスに基づく新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T02:50:33Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions [13.077729125193434]
  既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。 また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。 マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:23:10Z)
• M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection [69.29017069438228]
  大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。 これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。 本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
  論文  参考訳（メタデータ） (2023-05-24T08:55:11Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning [14.637303913878435]
  低リソースシナリオ下でMGTを検出するために,コヒーレンスに基づくコントラスト学習モデルCoCoを提案する。 言語的特徴を活用するために,グラフ形式でコヒーレンス情報をテキスト表現にエンコードする。 2つの公開データセットと2つの自己構築データセットの実験結果は、我々のアプローチが最先端の手法を大幅に上回っていることを証明している。
  論文  参考訳（メタデータ） (2022-12-20T15:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。