論文の概要: ConvNLP: Image-based AI Text Detection
- arxiv url: http://arxiv.org/abs/2407.07225v1
- Date: Tue, 9 Jul 2024 20:44:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 18:31:06.418102
- Title: ConvNLP: Image-based AI Text Detection
- Title(参考訳): ConvNLP:画像ベースのAIテキスト検出
- Authors: Suriya Prakash Jambunathan, Ashwath Shankarnarayan, Parijat Dube,
- Abstract要約: 本稿では,単語埋め込みの視覚的表現を用いたAI生成テキストの検出手法を提案する。
我々は、ZigZag ResNetと呼ばれる新しい畳み込みニューラルネットワークと、ZigZag Schedulerと呼ばれる一般化を改善するスケジューラを定式化した。
我々の最良のモデルは、AI生成テキストを印象的な平均検出率(ドメイン間およびドメイン内テストデータ以上)88.35%で検出する。
- 参考スコア(独自算出の注目度): 1.4419517737536705
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The potentials of Generative-AI technologies like Large Language models (LLMs) to revolutionize education are undermined by ethical considerations around their misuse which worsens the problem of academic dishonesty. LLMs like GPT-4 and Llama 2 are becoming increasingly powerful in generating sophisticated content and answering questions, from writing academic essays to solving complex math problems. Students are relying on these LLMs to complete their assignments and thus compromising academic integrity. Solutions to detect LLM-generated text are compute-intensive and often lack generalization. This paper presents a novel approach for detecting LLM-generated AI-text using a visual representation of word embedding. We have formulated a novel Convolutional Neural Network called ZigZag ResNet, as well as a scheduler for improving generalization, named ZigZag Scheduler. Through extensive evaluation using datasets of text generated by six different state-of-the-art LLMs, our model demonstrates strong intra-domain and inter-domain generalization capabilities. Our best model detects AI-generated text with an impressive average detection rate (over inter- and intra-domain test data) of 88.35%. Through an exhaustive ablation study, our ZigZag ResNet and ZigZag Scheduler provide a performance improvement of nearly 4% over the vanilla ResNet. The end-to-end inference latency of our model is below 2.5ms per sentence. Our solution offers a lightweight, computationally efficient, and faster alternative to existing tools for AI-generated text detection, with better generalization performance. It can help academic institutions in their fight against the misuse of LLMs in academic settings. Through this work, we aim to contribute to safeguarding the principles of academic integrity and ensuring the trustworthiness of student work in the era of advanced LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)のような生成AI技術が教育に革命をもたらす可能性は、その誤用に関する倫理的考察によって損なわれ、学術的不正の問題が悪化する。
GPT-4やLlama 2のようなLLMは、学術エッセイを書くことから複雑な数学問題を解くことまで、洗練されたコンテンツを生成し、質問に答える上でますます強力になっている。
学生はこれらの LLM を活用して課題を完了し、学術的整合性を損なう。
LLM生成テキストを検出するソリューションは計算集約的であり、一般化に欠けることが多い。
本稿では,単語埋め込みの視覚的表現を用いたLLM生成AIテキストの検出手法を提案する。
我々は、ZigZag ResNetと呼ばれる新しい畳み込みニューラルネットワークと、ZigZag Schedulerと呼ばれる一般化を改善するスケジューラを定式化した。
6種類のLLMから生成されたテキストのデータセットを広範囲に評価することにより,ドメイン内およびドメイン間一般化能力の強いモデルを示す。
我々の最良のモデルは、AI生成テキストを印象的な平均検出率(ドメイン間およびドメイン内テストデータ以上)88.35%で検出する。
徹底的なアブレーション調査を通じて、ZigZag ResNetとZigZag Schedulerは、バニラResNetよりも4%近いパフォーマンス改善を提供します。
私たちのモデルのエンドツーエンドの推論レイテンシは、文あたり2.5ms以下です。
私たちのソリューションは、AI生成テキスト検出のための既存のツールに代わる、軽量で、計算効率が高く、高速な代替手段を提供する。
学術的な環境でのLLMの誤用と戦う学術機関を支援することができる。
本研究は,学術的完全性の原則の保護と,先進LLM時代の学生労働の信頼性確保に貢献することを目的とする。
関連論文リスト
- Robust Detection of LLM-Generated Text: A Comparative Analysis [0.276240219662896]
大規模言語モデルは生命の多くの側面に広く統合することができ、その出力は全てのネットワークリソースを迅速に満たすことができる。
生成したテキストの強力な検出器を開発することがますます重要になっている。
この検出器は、これらの技術の潜在的な誤用を防ぎ、ソーシャルメディアなどのエリアを負の効果から保護するために不可欠である。
論文 参考訳(メタデータ) (2024-11-09T18:27:15Z) - GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。
本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。
具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
論文 参考訳(メタデータ) (2024-10-31T08:30:55Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - Enhancing Textbook Question Answering Task with Large Language Models
and Retrieval Augmented Generation [3.948068081583197]
本稿では,テキスト質問応答(TQA)における領域外シナリオを扱う手法を提案する。
LLMモデルLlama-2の微調整とRAGの導入により、我々のアーキテクチャはベースラインよりも優れ、検証セットでは4.12%、非ダイアグラム多重選択質問では9.84%の精度向上を実現している。
論文 参考訳(メタデータ) (2024-02-05T11:58:56Z) - Enhancing Robustness of LLM-Synthetic Text Detectors for Academic
Writing: A Comprehensive Analysis [35.351782110161025]
大規模言語モデル(LLM)は、仕事と研究の方法に革命をもたらす多くの利点を提供する。
彼らはまた、潜在的なネガティブな結果のために、かなりの注意を払っている。
1つの例は、人的貢献の少ない学術報告書や論文を作成することである。
論文 参考訳(メタデータ) (2024-01-16T01:58:36Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳(メタデータ) (2023-12-01T16:00:25Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
LLM生成テキストを検出できる検出器を開発する必要がある。
このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。
この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
論文 参考訳(メタデータ) (2023-10-23T09:01:13Z) - Brain in a Vat: On Missing Pieces Towards Artificial General
Intelligence in Large Language Models [83.63242931107638]
本稿では,知的エージェントの4つの特徴について述べる。
実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。
我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
論文 参考訳(メタデータ) (2023-07-07T13:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。