論文の概要: On the Consideration of AI Openness: Can Good Intent Be Abused?

• arxiv url: http://arxiv.org/abs/2403.06537v2
• Date: Tue, 07 Jan 2025 05:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 16:58:02.570059
• Title: On the Consideration of AI Openness: Can Good Intent Be Abused?
• Title（参考訳）: AIのオープン性を考える: 良いインテントは悪用されるか?
• Authors: Yeeun Kim, Hyunseo Shin, Eunkyung Choi, Hongseok Oh, Hyunjun Kim, Wonseok Hwang,
• Abstract要約: EVE-V1データセットを構築し,200対の質問応答ペアを犯罪行為と関連づけた。 我々はさらに600件の不正関連事例を用いてEVE-V2を開発し、悪意あるモデルの存在を確認した。 この発見は、オープンソースが科学の進歩を加速するパラドックス的ジレンマを浮き彫りにするが、誤用の可能性を最小限に抑えるために非常に注意が必要である。
• 参考スコア（独自算出の注目度）: 10.491740513137664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open source is a driving force behind scientific advancement.However, this openness is also a double-edged sword, with the inherent risk that innovative technologies can be misused for purposes harmful to society. What is the likelihood that an open source AI model or dataset will be used to commit a real-world crime, and if a criminal does exploit it, will the people behind the technology be able to escape legal liability? To address these questions, we explore a legal domain where individual choices can have a significant impact on society. Specifically, we build the EVE-V1 dataset that comprises 200 question-answer pairs related to criminal offenses based on 200 Korean precedents first to explore the possibility of malicious models emerging. We further developed EVE-V2 using 600 fraud-related precedents to confirm the existence of malicious models that can provide harmful advice on a wide range of criminal topics to test the domain generalization ability. Remarkably, widely used open-source large-scale language models (LLMs) provide unethical and detailed information about criminal activities when fine-tuned with EVE. We also take an in-depth look at the legal issues that malicious language models and their builders could realistically face. Our findings highlight the paradoxical dilemma that open source accelerates scientific progress, but requires great care to minimize the potential for misuse. Warning: This paper contains content that some may find unethical.
• Abstract（参考訳）: オープンソースは、科学的進歩の原動力であり、しかしながら、このオープンネスは、社会に有害な目的のために革新的な技術が誤用されるという固有のリスクを持つ、二重刃の剣でもある。 オープンソースのAIモデルやデータセットが現実世界の犯罪を犯すのに使われ、犯罪者がそれを悪用したら、その技術の背後にいる人々は法的責任を逃れられるだろうか? これらの問題に対処するために、個々の選択が社会に重大な影響を与える法的な領域を探索する。 具体的には、悪質モデルが出現する可能性を調べるために、まず200の韓国の先例に基づいて、犯罪犯罪に関連する200の質問対からなるEVE-V1データセットを構築した。 我々はさらに,600件の不正関連事例を用いてEVE-V2を開発し,広範囲の犯罪トピックに有害なアドバイスを与える悪意のあるモデルの存在を確認し,ドメインの一般化能力をテストする。 注目すべきは、広く使われているオープンソースの大規模言語モデル(LLM)は、EVEで微調整された場合の犯罪行為に関する非倫理的で詳細な情報を提供する。 また、悪意のある言語モデルとその構築者が現実的に直面する可能性のある法的問題についても詳しく調べています。 この発見は、オープンソースが科学の進歩を加速するパラドックス的ジレンマを浮き彫りにするが、誤用の可能性を最小限に抑えるために非常に注意が必要である。 警告: この論文には非倫理的と思われるコンテンツが含まれている。

関連論文リスト

• Position: Editing Large Language Models Poses Serious Safety Risks [5.6897620867951435]
  大規模言語モデルの編集は、ほとんど見落とされた深刻な安全性のリスクをもたらすと我々は主張する。 私たちはAIエコシステムの脆弱性を強調し、検証なしで更新されたモデルの無制限のアップロードとダウンロードを可能にします。 我々は、(i)悪質なモデル編集に対する研究用タンパー耐性モデルと対策をコミュニティに呼びかけ、(ii)AIエコシステムの確保に積極的に取り組みます。
  論文  参考訳（メタデータ） (2025-02-05T07:51:32Z)
• Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
  本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。 人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。 これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
  論文  参考訳（メタデータ） (2024-10-10T17:38:38Z)
• Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
  Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。 この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
  論文  参考訳（メタデータ） (2024-04-25T21:14:24Z)
• Eagle: Ethical Dataset Given from Real Interactions [74.7319697510621]
  社会的バイアス、毒性、不道徳な問題を示すChatGPTとユーザ間の実際のインタラクションから抽出されたデータセットを作成します。 我々の実験では、イーグルは、そのような倫理的課題の評価と緩和のために提案された既存のデータセットでカバーされていない相補的な側面を捉えている。
  論文  参考訳（メタデータ） (2024-02-22T03:46:02Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• Factuality Challenges in the Era of Large Language Models [113.3282633305118]
  大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。 LLMは悪意のあるアプリケーションに利用することができる。 これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2023-10-08T14:55:02Z)
• Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
  本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
  論文  参考訳（メタデータ） (2023-08-28T18:51:09Z)
• Where's the Liability in Harmful AI Speech? [42.97651263209725]
  機械学習の実践者は、問題のあるスピーチを特定するために、定期的に"レッドチーム"モデルをモデル化する。 我々は,3つの責任体制について検討し,これらをレッドチームモデル行動の一般的な例に結びつける。 これらのシナリオでは、AIは責任から分類的に免疫されてはならない、と私たちは主張する。
  論文  参考訳（メタデータ） (2023-08-09T00:13:00Z)
• Foundation Models and Fair Use [96.04664748698103]
  米国や他の国では、著作権のあるコンテンツは、公正な使用原理のために責任を負わずに基礎モデルを構築するために使われることがある。 本研究では,著作権コンテンツに基づく基礎モデルの開発と展開の潜在的なリスクについて調査する。 基礎モデルが公正な使用と一致し続けるのに役立つ技術的緩和について論じる。
  論文  参考訳（メタデータ） (2023-03-28T03:58:40Z)
• A Survey on Neural Open Information Extraction: Current Status and Future Directions [87.30702606041407]
  Open Information extract (OpenIE) は、大規模コーパスからの関係事実のドメインに依存しない発見を容易にする。 我々は、最先端のニューラルなOpenIEモデル、その設計決定、強み、弱点について概観する。
  論文  参考訳（メタデータ） (2022-05-24T02:24:55Z)
• "We do not appreciate being experimented on": Developer and Researcher Views on the Ethics of Experiments on Open-Source Projects [0.0]
  オープンソース開発者と経験的ソフトウェアエンジニアリング研究者の間で調査を行い、彼らがどのような行動を許容できると考えているのかを確認します。 結果から,オープンソース開発者は大部分が研究対象であり,透過的に実施されていることが分かる。 オープンソースレポジトリとプロジェクトは、アクセスガイドラインの研究に利用するために対処することが推奨されている。
  論文  参考訳（メタデータ） (2021-12-25T09:23:33Z)
• Ethics as a service: a pragmatic operationalisation of AI Ethics [1.1083289076967895]
  ギャップは、AI倫理原則の理論と、AIシステムの実践的設計の間に存在している。 これは、原則と技術的な翻訳ツールが、たとえ制限されているとしても、なぜまだ必要であるのかを探求することによって、ここで解決しようとしている問題です。
  論文  参考訳（メタデータ） (2021-02-11T21:29:25Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)
• Ethical Considerations for AI Researchers [0.0]
  人工知能の利用は、人々の生活に影響を与えるアプリケーションへと成長し、拡大しています。 害の可能性を秘めており、すでに世界中でその例が見られます。 AIの倫理は明確なものではないが、私たちが導入する影響を最小限に抑えるためのガイドラインがある。
  論文  参考訳（メタデータ） (2020-06-13T04:31:42Z)
• Explore, Discover and Learn: Unsupervised Discovery of State-Covering Skills [155.11646755470582]
  情報理論的スキル発見の代替手法として,'Explore, Discover and Learn'(EDL)がある。 本稿では,EDLがカバレッジ問題を克服し,学習スキルの初期状態への依存を減らし,ユーザが学習すべき行動について事前定義できるようにするなど,大きなメリットがあることを示す。
  論文  参考訳（メタデータ） (2020-02-10T10:49:53Z)
• The Offense-Defense Balance of Scientific Knowledge: Does Publishing AI Research Reduce Misuse? [0.0]
  人工知能(AI)研究の誤用に関する懸念が高まっている。 科学研究の出版は技術の誤用を助長するが、この研究は誤用に対する保護にも貢献する。 本稿ではこれらの2つの効果のバランスについて述べる。
  論文  参考訳（メタデータ） (2019-12-27T10:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。