論文の概要: On the Consideration of AI Openness: Can Good Intent Be Abused?

• arxiv url: http://arxiv.org/abs/2403.06537v2
• Date: Tue, 07 Jan 2025 05:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:47:46.920238
• Title: On the Consideration of AI Openness: Can Good Intent Be Abused?
• Title（参考訳）: AIのオープン性を考える: 良いインテントは悪用されるか?
• Authors: Yeeun Kim, Hyunseo Shin, Eunkyung Choi, Hongseok Oh, Hyunjun Kim, Wonseok Hwang,
• Abstract要約: EVE-V1データセットを構築し,200対の質問応答ペアを犯罪行為と関連づけた。 我々はさらに600件の不正関連事例を用いてEVE-V2を開発し、悪意あるモデルの存在を確認した。 この発見は、オープンソースが科学の進歩を加速するパラドックス的ジレンマを浮き彫りにするが、誤用の可能性を最小限に抑えるために非常に注意が必要である。
• 参考スコア（独自算出の注目度）: 10.491740513137664
• License:
• Abstract: Open source is a driving force behind scientific advancement.However, this openness is also a double-edged sword, with the inherent risk that innovative technologies can be misused for purposes harmful to society. What is the likelihood that an open source AI model or dataset will be used to commit a real-world crime, and if a criminal does exploit it, will the people behind the technology be able to escape legal liability? To address these questions, we explore a legal domain where individual choices can have a significant impact on society. Specifically, we build the EVE-V1 dataset that comprises 200 question-answer pairs related to criminal offenses based on 200 Korean precedents first to explore the possibility of malicious models emerging. We further developed EVE-V2 using 600 fraud-related precedents to confirm the existence of malicious models that can provide harmful advice on a wide range of criminal topics to test the domain generalization ability. Remarkably, widely used open-source large-scale language models (LLMs) provide unethical and detailed information about criminal activities when fine-tuned with EVE. We also take an in-depth look at the legal issues that malicious language models and their builders could realistically face. Our findings highlight the paradoxical dilemma that open source accelerates scientific progress, but requires great care to minimize the potential for misuse. Warning: This paper contains content that some may find unethical.
• Abstract（参考訳）: オープンソースは、科学的進歩の原動力であり、しかしながら、このオープンネスは、社会に有害な目的のために革新的な技術が誤用されるという固有のリスクを持つ、二重刃の剣でもある。 オープンソースのAIモデルやデータセットが現実世界の犯罪を犯すのに使われ、犯罪者がそれを悪用したら、その技術の背後にいる人々は法的責任を逃れられるだろうか? これらの問題に対処するために、個々の選択が社会に重大な影響を与える法的な領域を探索する。 具体的には、悪質モデルが出現する可能性を調べるために、まず200の韓国の先例に基づいて、犯罪犯罪に関連する200の質問対からなるEVE-V1データセットを構築した。 我々はさらに,600件の不正関連事例を用いてEVE-V2を開発し,広範囲の犯罪トピックに有害なアドバイスを与える悪意のあるモデルの存在を確認し,ドメインの一般化能力をテストする。 注目すべきは、広く使われているオープンソースの大規模言語モデル(LLM)は、EVEで微調整された場合の犯罪行為に関する非倫理的で詳細な情報を提供する。 また、悪意のある言語モデルとその構築者が現実的に直面する可能性のある法的問題についても詳しく調べています。 この発見は、オープンソースが科学の進歩を加速するパラドックス的ジレンマを浮き彫りにするが、誤用の可能性を最小限に抑えるために非常に注意が必要である。 警告: この論文には非倫理的と思われるコンテンツが含まれている。

関連論文リスト

• Position: Editing Large Language Models Poses Serious Safety Risks [5.6897620867951435]
  大規模言語モデルの編集は、ほとんど見落とされた深刻な安全性のリスクをもたらすと我々は主張する。 私たちはAIエコシステムの脆弱性を強調し、検証なしで更新されたモデルの無制限のアップロードとダウンロードを可能にします。 我々は、(i)悪質なモデル編集に対する研究用タンパー耐性モデルと対策をコミュニティに呼びかけ、(ii)AIエコシステムの確保に積極的に取り組みます。
  論文  参考訳（メタデータ） (2025-02-05T07:51:32Z)
• Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
  Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。 この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
  論文  参考訳（メタデータ） (2024-04-25T21:14:24Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• Factuality Challenges in the Era of Large Language Models [113.3282633305118]
  大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。 LLMは悪意のあるアプリケーションに利用することができる。 これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2023-10-08T14:55:02Z)
• Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
  本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
  論文  参考訳（メタデータ） (2023-08-28T18:51:09Z)
• Where's the Liability in Harmful AI Speech? [42.97651263209725]
  機械学習の実践者は、問題のあるスピーチを特定するために、定期的に"レッドチーム"モデルをモデル化する。 我々は,3つの責任体制について検討し,これらをレッドチームモデル行動の一般的な例に結びつける。 これらのシナリオでは、AIは責任から分類的に免疫されてはならない、と私たちは主張する。
  論文  参考訳（メタデータ） (2023-08-09T00:13:00Z)
• Foundation Models and Fair Use [96.04664748698103]
  米国や他の国では、著作権のあるコンテンツは、公正な使用原理のために責任を負わずに基礎モデルを構築するために使われることがある。 本研究では,著作権コンテンツに基づく基礎モデルの開発と展開の潜在的なリスクについて調査する。 基礎モデルが公正な使用と一致し続けるのに役立つ技術的緩和について論じる。
  論文  参考訳（メタデータ） (2023-03-28T03:58:40Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。