論文の概要: Neural Language Models are Effective Plagiarists
- arxiv url: http://arxiv.org/abs/2201.07406v1
- Date: Wed, 19 Jan 2022 04:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 22:22:44.620275
- Title: Neural Language Models are Effective Plagiarists
- Title(参考訳): ニューラルネットワークモデルは効果的なプラジャリストである
- Authors: Stella Biderman and Edward Raff
- Abstract要約: 我々は, GPT-J を用いた学生が MOSS からの疑念を起こさずに,導入レベルのプログラミング課題を完遂できることを見出した。
GPT-Jは問題に関するトレーニングを受けておらず、その例は提供されていない。
我々は、GPT-Jで書かれたコードは構造的に多様であり、将来の盗作検出技術がアルゴリズムによって生成されたコードを特定するために使われる可能性があることを特に示していないと結論付けた。
- 参考スコア(独自算出の注目度): 38.85940137464184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As artificial intelligence (AI) technologies become increasingly powerful and
prominent in society, their misuse is a growing concern. In educational
settings, AI technologies could be used by students to cheat on assignments and
exams. In this paper we explore whether transformers can be used to solve
introductory level programming assignments while bypassing commonly used AI
tools to detect plagiarism. We find that a student using GPT-J [Wang and
Komatsuzaki, 2021] can complete introductory level programming assignments
without triggering suspicion from MOSS [Aiken, 2000], a widely used plagiarism
detection tool. This holds despite the fact that GPT-J was not trained on the
problems in question and is not provided with any examples to work from. We
further find that the code written by GPT-J is diverse in structure, lacking
any particular tells that future plagiarism detection techniques may use to try
to identify algorithmically generated code. We conclude with a discussion of
the ethical and educational implications of large language models and
directions for future research.
- Abstract(参考訳): 人工知能(AI)技術が社会においてますます強力で顕著になるにつれて、その誤用が懸念されている。
教育環境では、AI技術は学生が課題や試験で不正に利用することができる。
本稿では、一般的なaiツールを用いて盗作を検知しながら、導入レベルのプログラミング課題を解決するためにトランスフォーマーが使用できるかどうかを考察する。
我々は, GPT-J (Wang and Komatsuzaki, 2021) を用いた学生が, MOSS (Aiken, 2000) から疑念を生じさせることなく, 導入レベルのプログラミング課題を完了できることを発見した。
これは、GPT-Jが問題に関するトレーニングを受けておらず、そこから動くサンプルが提供されていないにもかかわらず、成り立っている。
さらに、GPT-Jで書かれたコードは構造的に多様であり、将来の盗作検出技術がアルゴリズムによって生成されたコードを特定するために使われる可能性があることを特に示していない。
本稿では,大規模言語モデルと今後の研究の方向性の倫理的・教育的意味について論じる。
関連論文リスト
- AI Content Self-Detection for Transformer-based Large Language Models [0.0]
本稿では、直接起点検出の概念を導入し、生成型AIシステムが出力を認識し、人文テキストと区別できるかどうかを評価する。
GoogleのBardモデルは、精度94%の自己検出の最大の能力を示し、OpenAIのChatGPTは83%である。
論文 参考訳(メタデータ) (2023-12-28T10:08:57Z) - PaperCard for Reporting Machine Assistance in Academic Writing [48.33722012818687]
2022年11月にOpenAIが発表した質問応答システムChatGPTは,学術論文作成に活用可能な,さまざまな機能を実証した。
これは学術における著者概念に関する批判的な疑問を提起する。
我々は、人間の著者が記述プロセスにおけるAIの使用を透過的に宣言するための文書である"PaperCard"というフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T14:28:04Z) - Reverse-Engineering Decoding Strategies Given Blackbox Access to a
Language Generation System [73.52878118434147]
テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。
どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
論文 参考訳(メタデータ) (2023-09-09T18:19:47Z) - Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。
GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。
この話題について,コミュニティの短期的,長期的目標について論じる。
論文 参考訳(メタデータ) (2023-08-28T18:51:09Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳(メタデータ) (2023-07-20T17:33:25Z) - Perception, performance, and detectability of conversational artificial
intelligence across 32 university courses [15.642614735026106]
大学レベル32科目におけるChatGPTの成績を比較した。
また,ChatGPTの成績は,多くの科目における生徒の成績と同等であることがわかった。
このツールを使用する学生や、これを盗作として扱う教育者の間では、新たなコンセンサスが高まっている。
論文 参考訳(メタデータ) (2023-05-07T10:37:51Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - How Generative AI models such as ChatGPT can be (Mis)Used in SPC
Practice, Education, and Research? An Exploratory Study [2.0841728192954663]
生成人工知能(AI)モデルは、統計的プロセス制御(SPC)の実践、学習、研究に革命をもたらす可能性がある。
これらのツールは開発の初期段階にあり、簡単に誤用されるか、誤解される可能性がある。
コードを提供し、基本的な概念を説明し、SPCの実践、学習、研究に関する知識を創造するChatGPTの能力を探求する。
論文 参考訳(メタデータ) (2023-02-17T15:48:37Z) - Will ChatGPT get you caught? Rethinking of Plagiarism Detection [0.0]
人工知能(AI)技術の台頭と教育への影響は近年懸念が高まっている。
チャットボット、特にChatGPTを使った学術エッセイの生成は、学者の間で恐怖を呼び起こした。
この研究は、最も人気のあるAIチャットボットであるChatGPTが生み出すコンテンツの独創性を探求することを目的としている。
論文 参考訳(メタデータ) (2023-02-08T20:59:18Z) - Mossad: Defeating Software Plagiarism Detection [0.48225981108928456]
本稿では,一般的なソフトウェア盗作検出ツールを打ち破る完全自動プログラム変換手法であるMossadを提案する。
このフレームワークは、遺伝子プログラミングにインスパイアされた技法とドメイン固有の知識を結びつけて、盗作検知を効果的に弱める。
モスは高速かつ効果的であり、数分で検出から逃れる可能性のあるプログラムの修正版を生成することができる。
論文 参考訳(メタデータ) (2020-10-04T22:02:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。