論文の概要: "I know myself better, but not really greatly": Using LLMs to Detect and Explain LLM-Generated Texts

• arxiv url: http://arxiv.org/abs/2502.12743v1
• Date: Tue, 18 Feb 2025 11:00:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 20:12:08.915915
• Title: "I know myself better, but not really greatly": Using LLMs to Detect and Explain LLM-Generated Texts
• Title（参考訳）: 「私は自分のことをよく知っているが、それほど大きくはない」:LLMを使ってLLM生成テキストを検出・説明する
• Authors: Jiazhou Ji, Jie Guo, Weidong Qiu, Zheng Huang, Yang Xu, Xinru Lu, Xiaoyu Jiang, Ruizhe Li, Shujun Li,
• Abstract要約: 大規模言語モデル(LLM)は、人間のようなテキストを生成する際、印象的な能力を示した。 本稿では,LLMによる人為的テキストの検出と説明機能について検討する。
• 参考スコア（独自算出の注目度）: 10.454446545249096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated impressive capabilities in generating human-like texts, but the potential misuse of such LLM-generated texts raises the need to distinguish between human-generated and LLM-generated content. This paper explores the detection and explanation capabilities of LLM-based detectors of LLM-generated texts, in the context of a binary classification task (human-generated texts vs LLM-generated texts) and a ternary classification task (human-generated texts, LLM-generated texts, and undecided). By evaluating on six close/open-source LLMs with different sizes, our findings reveal that while self-detection consistently outperforms cross-detection, i.e., LLMs can detect texts generated by themselves more accurately than those generated by other LLMs, the performance of self-detection is still far from ideal, indicating that further improvements are needed. We also show that extending the binary to the ternary classification task with a new class "Undecided" can enhance both detection accuracy and explanation quality, with improvements being statistically significant and consistent across all LLMs. We finally conducted comprehensive qualitative and quantitative analyses on the explanation errors, which are categorized into three types: reliance on inaccurate features (the most frequent error), hallucinations, and incorrect reasoning. These findings with our human-annotated dataset emphasize the need for further research into improving both self-detection and self-explanation, particularly to address overfitting issues that may hinder generalization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間に似たテキストを生成する際、印象的な能力を示しているが、そのようなLLM生成テキストの潜在的な誤用は、人間の生成したコンテンツとLLM生成したコンテンツを区別する必要性を高めている。 本稿では, LLM 生成テキストの LLM に基づく検出・説明機能について, 2次分類タスク (人文対 LLM 生成テキスト) と 3次分類タスク (人文, LLM 生成テキスト, 未決定テキスト) を用いて検討する。 異なる大きさの6つのオープンソース LLM を評価した結果、自己検出はクロス検出よりも一貫して優れており、すなわち、LPM は他の LLM が生成したテキストよりも精度良く自己検出できるが、自己検出の性能は依然として理想的ではないことが判明した。 また,新たなクラス"Undecided"でバイナリを3次分類タスクに拡張することで,検出精度と説明品質が向上し,全てのLLMにおいて統計的に有意かつ一貫した改善が期待できることを示す。 最終的に,不正確な特徴(最も頻繁な誤り),幻覚,不正確な推論の3つのタイプに分類される説明誤りに関する総合的質的,定量的な分析を行った。 人間の注釈付きデータセットによるこれらの発見は、特に一般化を妨げる過度に適合する問題に対処するために、自己検出と自己説明の両方を改善するためのさらなる研究の必要性を強調している。

関連論文リスト

• LLM4VV: Evaluating Cutting-Edge LLMs for Generation and Evaluation of Directive-Based Parallel Programming Model Compiler Tests [7.6818904666624395]
  本稿では,コンパイラテストの生成にLLMを用いたデュアルLLMシステムと実験について述べる。 LLMは、品質の高いコンパイラテストを生成し、それらを自動的に検証する有望な可能性を持っていることは明らかである。
  論文  参考訳（メタデータ） (2025-07-29T02:34:28Z)
• Understanding the Effects of RLHF on the Quality and Detectability of LLM-Generated Texts [7.242609314791262]
  人間のフィードバックからの強化学習によるさらなる編集が、生成したテキストの品質に与える影響について検討する。 RLHFはより検出しやすく、長く、繰り返し出力する。 訓練ベースの検出器は短いテキストやコードを含むテキストに弱いが、ゼロショット検出器はより堅牢である。
  論文  参考訳（メタデータ） (2025-03-23T07:03:10Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Robust Detection of LLM-Generated Text: A Comparative Analysis [0.276240219662896]
  大規模言語モデルは生命の多くの側面に広く統合することができ、その出力は全てのネットワークリソースを迅速に満たすことができる。 生成したテキストの強力な検出器を開発することがますます重要になっている。 この検出器は、これらの技術の潜在的な誤用を防ぎ、ソーシャルメディアなどのエリアを負の効果から保護するために不可欠である。
  論文  参考訳（メタデータ） (2024-11-09T18:27:15Z)
• Understanding the Effects of Human-written Paraphrases in LLM-generated Text Detection [7.242609314791262]
  Human & LLM Paraphrase Collection (HLPC)は、人間の文章とパラフレーズを組み込んだ第一種データセットである。 我々は,人書きパラフレーズ,GPTとOPTのLLM生成文書,DIPPERとBARTのLLM生成パラフレーズを組み込んだ分類実験を行った。 以上の結果から,人文パラフレーズの含浸がLLM検出性能に大きな影響を与え,TPR@1%FPRが促進され,AUROCのトレードオフや精度が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-06T10:06:21Z)
• GigaCheck: Detecting LLM-generated Content [72.27323884094953]
  本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。 本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。 具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
  論文  参考訳（メタデータ） (2024-10-31T08:30:55Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
  大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。 中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。 このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization [12.418844515095035]
  大規模言語モデル(LLM)は、特定のクエリに対する不正確な応答を生成する傾向がある。 不正確なトークン化は、LLMが入力を正確に理解するのを妨げている臨界点である。 我々は, LLMのトークン化に挑戦するために, 様々なオープンソースLLMの語彙をベースとして, $textbfADT (Adrial dataset for Tokenizer)$という逆データセットを構築した。
  論文  参考訳（メタデータ） (2024-05-27T11:39:59Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts? [45.233517779029334]
  応答が生成されたコンテキストと検索されたコンテキストに関連付けられているかどうかを識別する。 実験では、誤った情報を提供する場合でも、生成されたコンテキストを優先する複数のLSMにおいて、重大なバイアスが示される。
  論文  参考訳（メタデータ） (2024-01-22T12:54:04Z)
• Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection Method [36.24876571343749]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。 近年の文献では、LLMは断続的に非実効応答を生成する。 本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T06:22:14Z)
• A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
  LLM生成テキストを検出できる検出器を開発する必要がある。 このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。 この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
  論文  参考訳（メタデータ） (2023-10-23T09:01:13Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。