論文の概要: Counter Turing Test CT^2: AI-Generated Text Detection is Not as Easy as You May Think -- Introducing AI Detectability Index

• arxiv url: http://arxiv.org/abs/2310.05030v1
• Date: Sun, 8 Oct 2023 06:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 13:15:18.255219
• Title: Counter Turing Test CT^2: AI-Generated Text Detection is Not as Easy as You May Think -- Introducing AI Detectability Index
• Title（参考訳）: Counter Turing Test CT^2: AI生成テキスト検出は、あなたが考えるほど簡単ではない -- AI検出可能性指数の導入
• Authors: Megha Chakraborty, S.M Towhidul Islam Tonmoy, S M Mehedi Zaman, Krish Sharma, Niyar R Barman, Chandan Gupta, Shreya Gautam, Tanay Kumar, Vinija Jain, Aman Chadha, Amit P. Sheth, Amitava Das
• Abstract要約: AI生成テキスト検出(AGTD)はすでに研究で注目を集めているトピックとして現れている。 本稿では,既存のAGTD手法の脆弱性を総合的に評価することを目的とした手法のベンチマークであるCounter Turing Test (CT2)を紹介する。
• 参考スコア（独自算出の注目度）: 9.348082057533325
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: With the rise of prolific ChatGPT, the risk and consequences of AI-generated text has increased alarmingly. To address the inevitable question of ownership attribution for AI-generated artifacts, the US Copyright Office released a statement stating that 'If a work's traditional elements of authorship were produced by a machine, the work lacks human authorship and the Office will not register it'. Furthermore, both the US and the EU governments have recently drafted their initial proposals regarding the regulatory framework for AI. Given this cynosural spotlight on generative AI, AI-generated text detection (AGTD) has emerged as a topic that has already received immediate attention in research, with some initial methods having been proposed, soon followed by emergence of techniques to bypass detection. This paper introduces the Counter Turing Test (CT^2), a benchmark consisting of techniques aiming to offer a comprehensive evaluation of the robustness of existing AGTD techniques. Our empirical findings unequivocally highlight the fragility of the proposed AGTD methods under scrutiny. Amidst the extensive deliberations on policy-making for regulating AI development, it is of utmost importance to assess the detectability of content generated by LLMs. Thus, to establish a quantifiable spectrum facilitating the evaluation and ranking of LLMs according to their detectability levels, we propose the AI Detectability Index (ADI). We conduct a thorough examination of 15 contemporary LLMs, empirically demonstrating that larger LLMs tend to have a higher ADI, indicating they are less detectable compared to smaller LLMs. We firmly believe that ADI holds significant value as a tool for the wider NLP community, with the potential to serve as a rubric in AI-related policy-making.
• Abstract（参考訳）: 有能なChatGPTの台頭に伴い、AI生成テキストのリスクと結果が急増している。 AI生成物の所有権に関する必然的な問題に対処するため、米国著作権庁は「作品の伝統的な著作物が機械によって生産された場合、作品は人間の著作物に欠け、事務所はそれを登録しない」という声明を発表した。 さらに、米国とEU政府は最近、AIの規制フレームワークに関する最初の提案を起草した。 AI生成型テキスト検出(AGTD)は、AI生成型テキスト検出(AGTD)におけるこのサイノーゾ的なスポットライトから、研究においてすぐに注目を集めているトピックとして現れ、いくつかの初期手法が提案され、間もなく検出をバイパスする技術が出現する。 本稿では,既存のAGTD手法のロバスト性を総合的に評価することを目的とした手法のベンチマークであるCounter Turing Test (CT^2)を紹介する。 調査対象のAGTD法が脆弱であることは明らかです。 AI開発を規制するための政策決定に関する広範な議論の中で、LLMが生成するコンテンツの検出可能性を評価することが最も重要である。 そこで本研究では,LLMの評価とランク付けを容易にする定量スペクトルを確立するために,AI検出可能性指数(AI Detectability Index, ADI)を提案する。 われわれは15個の現代LLMを徹底的に検討し、より大きなLLMはADIが高い傾向を示し、小さいLLMに比べて検出しにくいことを示した。 ADIはより広範なNLPコミュニティのツールとして大きな価値があり、AI関連の政策決定においてルーリックとして機能する可能性があると強く信じています。

関連論文リスト

• Can We Trust AI Agents? An Experimental Study Towards Trustworthy LLM-Based Multi-Agent Systems for AI Ethics [10.084913433923566]
  本研究では,信頼度向上技術が倫理的AI出力生成に与える影響について検討する。 我々はLLM-BMASのプロトタイプを設計し、エージェントは現実世界の倫理的AI問題に関する構造化された議論を行う。 議論では、バイアス検出、透明性、説明責任、ユーザの同意、コンプライアンス、公正性評価、EU AI Actコンプライアンスといった用語が明らかにされている。
  論文  参考訳（メタデータ） (2024-10-25T20:17:59Z)
• Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
  本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。 人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。 これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
  論文  参考訳（メタデータ） (2024-10-10T17:38:38Z)
• Is Your Paper Being Reviewed by an LLM? Investigating AI Text Detectability in Peer Review [8.606381080620789]
  既存のAIテキスト検出アルゴリズムが人間の書いたピアレビューと最先端のLLMを区別する能力について検討する。 分析の結果,既存の手法では,多くの GPT-4o 書面レビューを偽陽性分類を発生させることなく識別できないことがわかった。 偽陽性分類の低レベルにおけるGPT-4o書評の同定において,既存の手法を超越した新たな検出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T22:05:06Z)
• How Could Generative AI Support Compliance with the EU AI Act? A Review for Safe Automated Driving Perception [4.075971633195745]
  ディープニューラルネットワーク(DNN)は、自動運転車の知覚機能の中心となっている。 EU(EU)人工知能(AI)法は、AIシステムの厳格な規範と標準を確立することによって、これらの課題に対処することを目的としている。 本稿では、DNNに基づく知覚システムに関するEU AI法から生じる要件を要約し、ADにおける既存の生成AIアプリケーションを体系的に分類する。
  論文  参考訳（メタデータ） (2024-08-30T12:01:06Z)
• An FDA for AI? Pitfalls and Plausibility of Approval Regulation for Frontier Artificial Intelligence [0.0]
  我々は、フロンティアAIの規制に対する承認規制、すなわち、実験的なミニマと、その実験で部分的にまたは完全に条件付けられた政府のライセンスとを組み合わせた製品の適用性について検討する。 承認規制が単に適用されたとしても、フロンティアAIのリスクには不適当であると考える理由はいくつかある。 規制開発における政策学習と実験の役割を強調して締めくくる。
  論文  参考訳（メタデータ） (2024-08-01T17:54:57Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• Can AI-Generated Text be Reliably Detected? [54.670136179857344]
  LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。 最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。 本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。