論文の概要: SMLT-MUGC: Small, Medium, and Large Texts -- Machine versus User-Generated Content Detection and Comparison

• arxiv url: http://arxiv.org/abs/2407.12815v1
• Date: Fri, 28 Jun 2024 22:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 08:47:38.349908
• Title: SMLT-MUGC: Small, Medium, and Large Texts -- Machine versus User-Generated Content Detection and Comparison
• Title（参考訳）: SMLT-MUGC:Small, Medium, Large Texts -- マシン対ユーザ生成コンテンツ検出と比較
• Authors: Anjali Rawal, Hui Wang, Youjia Zheng, Yu-Hsuan Lin, Shanu Sushmita,
• Abstract要約: 我々は,(1)小規模(選挙,FIFA,ゲーム・オブ・スローンズからのツイート),(2)媒体(Wikipedia導入,PubMed要約),(3)大規模(OpenAI Webテキストデータセット)の4つのデータセットにおける機械学習アルゴリズムの性能を比較した。 その結果,非常に大きなパラメータを持つLCM(例えば1542万パラメータを持つGPT2のXL-1542変種など)は,従来の機械学習手法による検出が困難であることが示唆された。 言語学,人格,感情,偏見,道徳など,多次元にわたる人文・機械文の特徴について検討する。
• 参考スコア（独自算出の注目度）: 2.7147912878168303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have gained significant attention due to their ability to mimic human language. Identifying texts generated by LLMs is crucial for understanding their capabilities and mitigating potential consequences. This paper analyzes datasets of varying text lengths: small, medium, and large. We compare the performance of machine learning algorithms on four datasets: (1) small (tweets from Election, FIFA, and Game of Thrones), (2) medium (Wikipedia introductions and PubMed abstracts), and (3) large (OpenAI web text dataset). Our results indicate that LLMs with very large parameters (such as the XL-1542 variant of GPT2 with 1542 million parameters) were harder (74%) to detect using traditional machine learning methods. However, detecting texts of varying lengths from LLMs with smaller parameters (762 million or less) can be done with high accuracy (96% and above). We examine the characteristics of human and machine-generated texts across multiple dimensions, including linguistics, personality, sentiment, bias, and morality. Our findings indicate that machine-generated texts generally have higher readability and closely mimic human moral judgments but differ in personality traits. SVM and Voting Classifier (VC) models consistently achieve high performance across most datasets, while Decision Tree (DT) models show the lowest performance. Model performance drops when dealing with rephrased texts, particularly shorter texts like tweets. This study underscores the challenges and importance of detecting LLM-generated texts and suggests directions for future research to improve detection methods and understand the nuanced capabilities of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の言語を模倣する能力から注目されている。 LLMによって生成されたテキストを識別することは、それらの能力を理解し、潜在的な結果を軽減するために不可欠である。 本稿では,小,中,大のテキスト長のデータセットを解析する。 本研究では,(1)小規模(選挙,FIFA,ゲーム・オブ・スローンズからのツイート),(2)メディア(Wikipedia導入,PubMed要約),(3)大規模(OpenAI Webテキストデータセット)の4つのデータセットにおける機械学習アルゴリズムの性能を比較した。 この結果から,非常に大きなパラメータを持つLCM(例えば1542万パラメータを持つGPT2のXL-1542変種など)は,従来の機械学習手法による検出が困難(74%)であることが示唆された。 しかし、より小さいパラメータ(7億7200万以下)のLLMから様々な長さのテキストを検出することは、高精度(96%以上)で行うことができる。 言語学,人格,感情,偏見,道徳など,多次元にわたる人文・機械文の特徴について検討する。 以上の結果から,機械生成テキストは可読性が高く,人間の道徳的判断を忠実に模倣するが,性格的特徴が異なることが示唆された。 SVMとVoting Classifier(VC)モデルは、ほとんどのデータセットで一貫してハイパフォーマンスを実現していますが、Decision Tree(DT)モデルは、最低パフォーマンスを示しています。 言い換えられたテキスト、特にツイートのような短いテキストを扱う場合、モデルのパフォーマンスは低下する。 本研究は, LLM生成テキストの検出の課題と重要性を概説し, 検出方法の改善と, LLMのニュアンスド能力の理解に向けた今後の研究の方向性を提案する。

関連論文リスト

• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル教育教材(辞書と文法の授業)と平行コーパスの制約付きデータベースから取得した各種情報の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• Can Large Language Models Learn the Physics of Metamaterials? An Empirical Study with ChatGPT [9.177651206337005]
  ChatGPT、Gemini、LlaMa、Claudeといった大規模言語モデル(LLM)は、インターネットから解析された大量のテキストに基づいて訓練されている。 テキストプロンプトが与えられた範囲の周波数で電磁スペクトルを予測できる最大4万データに基づいて微調整されたLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-23T19:05:42Z)
• From Text to Source: Results in Detecting Large Language Model-Generated Content [17.306542392779445]
  大きな言語モデル(LLM)は、人間に似たテキストを生成する能力によって祝われる。 本稿では,LLM生成テキストと人文テキストを区別するために訓練された分類器が,それ以上の訓練を行なわずに目標LLMからテキストを検出することができるかどうかを評価することで,Cross-Model Detectionについて検討する。 この研究では、量化と透かし検出に加えて、ソースモデル識別、モデルファミリー、モデルサイズ分類を含むモデル属性についても検討している。
  論文  参考訳（メタデータ） (2023-09-23T09:51:37Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• The Imitation Game: Detecting Human and AI-Generated Texts in the Era of ChatGPT and BARD [3.2228025627337864]
  異なるジャンルの人文・AI生成テキストのデータセットを新たに導入する。 テキストを分類するために、いくつかの機械学習モデルを使用します。 結果は、人間とAIが生成したテキストを識別する上で、これらのモデルの有効性を示す。
  論文  参考訳（メタデータ） (2023-07-22T21:00:14Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)
• M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection [69.29017069438228]
  大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。 これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。 本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
  論文  参考訳（メタデータ） (2023-05-24T08:55:11Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。