論文の概要: Two Birds with One Stone: Multi-Task Detection and Attribution of LLM-Generated Text
- arxiv url: http://arxiv.org/abs/2508.14190v1
- Date: Tue, 19 Aug 2025 18:23:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-21 16:52:41.243079
- Title: Two Birds with One Stone: Multi-Task Detection and Attribution of LLM-Generated Text
- Title(参考訳): 1つの石を持つ2羽の鳥:LLMテキストのマルチタスク検出と属性
- Authors: Zixin Rao, Youssef Mohamed, Shang Liu, Zeyan Liu,
- Abstract要約: DA-MTLは、テキスト検出と著者の属性を同時に扱うマルチタスク学習フレームワークである。
DA-MTLを9つのデータセットと4つのバックボーンモデルで評価し、複数の言語で高い性能を示す。
- 参考スコア(独自算出の注目度): 4.753395401707132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs), such as GPT-4 and Llama, have demonstrated remarkable abilities in generating natural language. However, they also pose security and integrity challenges. Existing countermeasures primarily focus on distinguishing AI-generated content from human-written text, with most solutions tailored for English. Meanwhile, authorship attribution--determining which specific LLM produced a given text--has received comparatively little attention despite its importance in forensic analysis. In this paper, we present DA-MTL, a multi-task learning framework that simultaneously addresses both text detection and authorship attribution. We evaluate DA-MTL on nine datasets and four backbone models, demonstrating its strong performance across multiple languages and LLM sources. Our framework captures each task's unique characteristics and shares insights between them, which boosts performance in both tasks. Additionally, we conduct a thorough analysis of cross-modal and cross-lingual patterns and assess the framework's robustness against adversarial obfuscation techniques. Our findings offer valuable insights into LLM behavior and the generalization of both detection and authorship attribution.
- Abstract(参考訳): GPT-4やLlamaのような大規模言語モデル(LLM)は、自然言語の生成において顕著な能力を示している。
しかし、それらはセキュリティと整合性にも挑戦する。
既存の対策は主に、AIが生成したコンテンツを人書きのテキストと区別することに焦点を当てており、ほとんどのソリューションは英語に特化している。
一方、著者の帰属-特定の LLM が与えられたテキストを生成するかを決定する--は、法医学的分析において重要であるにもかかわらず、比較的ほとんど注目されなかった。
本稿では,テキスト検出と著者帰属の両方を同時に扱うマルチタスク学習フレームワークであるDA-MTLを提案する。
DA-MTLを9つのデータセットと4つのバックボーンモデルで評価し、複数の言語とLLMソースで高い性能を示す。
我々のフレームワークは各タスクの特徴を捉え、各タスク間で洞察を共有することで、両方のタスクのパフォーマンスが向上する。
さらに,クロスモーダルおよびクロスランガルパターンの徹底的な解析を行い,対向的難読化手法に対するフレームワークの堅牢性を評価する。
本研究は,LLMの挙動と検出および著者属性の一般化に関する貴重な知見を提供する。
関連論文リスト
- An Evaluation of Large Language Models on Text Summarization Tasks Using Prompt Engineering Techniques [0.0]
大規模言語モデル(LLM)は、人間のようなテキストを生成する能力を持って、自然言語処理の進歩を続けている。
CNN/Daily MailとNewsRoom(ニューズ)、SAMSum(ダイアログ)、ArXiv(サイエンティフィック)の4つのデータセットにまたがる6つのLCMを体系的に評価する。
本研究では,ROUGEとBERTScoreの測定値を用いて評価を行った。
Longドキュメントには、短いコンテキストウィンドウを持つLLMが複数の段階で拡張入力を要約できる文ベースのチャンキング戦略が導入されている。
論文 参考訳(メタデータ) (2025-07-07T15:34:05Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳(メタデータ) (2025-05-23T09:37:52Z) - Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders [20.557610461777344]
Sparse Autoencoders (SAE) を用いてGemma-2-2b残ストリームから特徴を抽出する。
解釈可能な特徴と効率的な特徴の両方を識別し,その意味と妥当性を解析する。
提案手法は, さまざまなモデルからのテキストと人文コンテンツとの相違点について, 貴重な知見を提供する。
論文 参考訳(メタデータ) (2025-03-05T15:33:52Z) - GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。
本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。
具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
論文 参考訳(メタデータ) (2024-10-31T08:30:55Z) - Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。
現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。
バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2024-10-18T08:14:10Z) - Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。
中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。
このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
論文 参考訳(メタデータ) (2024-06-13T12:43:40Z) - Stance Detection with Collaborative Role-Infused LLM-Based Agents [39.75103353173015]
スタンス検出は、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。
しかし、姿勢検出には、著者の暗黙の視点を推測する高度な推論が必要である。
LLMを異なる役割に指定した3段階のフレームワークを設計する。
複数のデータセットにまたがって最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-10-16T14:46:52Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。