論文の概要: Unmasking the Imposters: In-Domain Detection of Human vs. Machine-Generated Tweets

• arxiv url: http://arxiv.org/abs/2406.17967v1
• Date: Tue, 25 Jun 2024 22:49:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 15:07:42.362653
• Title: Unmasking the Imposters: In-Domain Detection of Human vs. Machine-Generated Tweets
• Title（参考訳）: インポスタをアンマキングする:人間対機械生成ツイートのドメイン内検出
• Authors: Bryan E. Tuck, Rakesh M. Verma,
• Abstract要約: 4つの大規模言語モデル(LLM)の生成能力を調べるために,Twitterデータセットを用いた方法論を提案する。 3つのオープンソースLCMの7Bおよび8Bパラメータベースインストラクションモデルを評価し、さらなる微調整および「アンセンサード」バージョンの影響を検証した。 その結果,ドメイン内微調整を付加した「アンセンソルド」モデルでは,自動検出法の有効性が劇的に低下することがわかった。
• 参考スコア（独自算出の注目度）: 2.41710192205034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of large language models (LLMs) has significantly improved the generation of fluent and convincing text, raising concerns about their misuse on social media platforms. We present a methodology using Twitter datasets to examine the generative capabilities of four LLMs: Llama 3, Mistral, Qwen2, and GPT4o. We evaluate 7B and 8B parameter base-instruction models of the three open-source LLMs and validate the impact of further fine-tuning and "uncensored" versions. Our findings show that "uncensored" models with additional in-domain fine-tuning dramatically reduce the effectiveness of automated detection methods. This study addresses a gap by exploring smaller open-source models and the effects of "uncensoring," providing insights into how fine-tuning and content moderation influence machine-generated text detection.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な開発により、流動的で説得力のあるテキストの生成が大幅に向上し、ソーシャルメディアプラットフォームでの誤用に対する懸念が高まった。 Llama 3, Mistral, Qwen2, GPT4o の4つの LLM の生成能力を調べるために, Twitter データセットを用いた手法を提案する。 3つのオープンソースLCMの7Bおよび8Bパラメータベースインストラクションモデルを評価し、さらなる微調整および「アンセンサード」バージョンの影響を検証した。 その結果,ドメイン内微調整を付加した「アンセンソルド」モデルでは,自動検出法の有効性が劇的に低下することがわかった。 本研究では、より小さなオープンソースモデルと「アンセンサリング」の効果を探求し、微調整とコンテンツモデレーションが機械生成テキストの検出にどのように影響するかを考察する。

関連論文リスト

• Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
  大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。 既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。 低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T07:25:00Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Exploring the Distinctiveness and Fidelity of the Descriptions Generated by Large Vision-Language Models [16.524244395901356]
  我々は,Open-FlamingoやIDEFICS,MiniGPT-4といったモデルが類似したオブジェクトを識別し,視覚的特徴を正確に記述する方法について検討する。 テキスト検索・拡張分類(TRAC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-26T16:59:26Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Towards Reliable and Fluent Large Language Models: Incorporating Feedback Learning Loops in QA Systems [10.58737969057445]
  我々は,大規模な言語モデルによって生成された応答の引用,正しさ,および流布性を評価することができる評論家モデルを訓練するためのデータセットを構築した。 本稿では,批判モデルを利用して生成したテキストの異質な側面をリアルタイムにフィードバックする自動フィードバック機構を提案する。 提案手法の有効性を実験的に検証し,4%の精度向上とMAUVE測定値の約8%の精度向上を図った。
  論文  参考訳（メタデータ） (2023-09-08T09:39:53Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
  トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。 特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
  論文  参考訳（メタデータ） (2021-09-10T12:13:45Z)
• GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation [9.501648136713694]
  GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T11:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。