論文の概要: Red Teaming for Generative AI, Report on a Copyright-Focused Exercise Completed in an Academic Medical Center

• arxiv url: http://arxiv.org/abs/2506.22523v2
• Date: Tue, 01 Jul 2025 03:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-02 11:48:10.244936
• Title: Red Teaming for Generative AI, Report on a Copyright-Focused Exercise Completed in an Academic Medical Center
• Title（参考訳）: ジェネレーティブAIのためのレッドチーム, アカデミックメディカルセンターにおける著作権侵害運動の報告
• Authors: James Wen, Sahil Nalawade, Zhiwei Liang, Catherine Bielick, Marisa Ferrara Boston, Alexander Chowdhury, Adele Collin, Luigi De Angelis, Jacob Ellen, Heather Frase, Rodrigo R. Gameiro, Juan Manuel Gutierrez, Pooja Kadam, Murat Keceli, Srikanth Krishnamurthy, Anne Kwok, Yanan Lance Lu, Heather Mattie, Liam G. McCoy, Katherine Miller, Allison C. Morgan, Marlene Louisa Moerig, Trang Nguyen, Alexander Owen-Post, Alex D. Ruiz, Sreekar Reddy Puchala, Soujanya Samineni, Takeshi Tohyama, Varun Ullanat, Carmine Valenza, Camilo Velez, Pengcheng Wang, Anna Wuest, Yuxiang Zhou, Yingde Zhu, Jason M. Johnson, Naomi Lenane, Jennifer Willcox, Francis J. Vitiello, Leo Anthony G. Celi, Renato Umeton,
• Abstract要約: 医療における生成的人工知能(AI)の展開は著作権の遵守を懸念する。 Dana-Farber Cancer Instituteは、OpenAIモデルを利用した内部生成AIツールであるGPT4DFCIを実装した。 4つのチームが4つのドメインでGPT4DFCIから著作権のあるコンテンツを抽出しようとした。
• 参考スコア（独自算出の注目度）: 49.85176045690678
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Background: Generative artificial intelligence (AI) deployment in healthcare settings raises copyright compliance concerns. Dana-Farber Cancer Institute implemented GPT4DFCI, an internal generative AI tool utilizing OpenAI models, that is approved for enterprise use in research and operations. Given (i) the exceptionally broad adoption of the tool in our organization, (ii) our research mission, and (iii) the shared responsibility model required by Microsoft OpenAI products, we deemed rigorous copyright compliance testing necessary. Case Description: We conducted a structured red teaming exercise in Nov. 2024, with 42 participants from academic, industry, and government institutions. Four teams attempted to extract copyrighted content from GPT4DFCI across four domains: literary works, news articles, scientific publications, and access-restricted clinical notes. Teams successfully extracted verbatim book dedications and near-exact passages through indirect prompting strategies. News article extraction failed despite jailbreak attempts. Scientific article reproduction yielded only high-level summaries. Clinical note testing revealed appropriate privacy safeguards with data reformatting rather than reproduction. Discussion: The successful extraction of literary content indicates potential copyright material presence in training data, necessitating enhanced inference-time filtering. Differential success rates across content types suggest varying protective mechanisms. The event led to implementation of a copyright-specific meta-prompt in GPT4DFCI; this mitigation is in production since Jan. 2025. Conclusion: Systematic red teaming revealed specific vulnerabilities in generative AI copyright compliance, leading to concrete mitigation strategies. Academic medical institutions deploying generative AI must implement continuous testing protocols to ensure legal and ethical compliance.
• Abstract（参考訳）: 背景: 医療環境における生成人工知能(AI)の展開は著作権の遵守を懸念する。 Dana-Farber Cancer Instituteは、OpenAIモデルを利用した内部生成AIツールであるGPT4DFCIを実装した。 敬意 i) 当社の組織において,ツールが極めて広く採用されていること。 (二)研究使節団、及び 3) Microsoft OpenAI 製品に必要な共有責任モデルについては,厳格な著作権コンプライアンステストが必要であると考えられた。 事例説明:2024年11月,学術,産業,政府機関の42名の参加者とともに,構造化されたレッドチーム演習を実施した。 4つのチームは、GPT4DFCIから著作物、ニュース記事、科学出版物、アクセス制限された臨床ノートの4つの領域で著作権のあるコンテンツを抽出しようとした。 チームは、間接的なプロンプト戦略を通じて、冗長な本献身とほぼ正確なパスを抽出することに成功しました。 ニュース記事の抽出は、脱獄未遂にもかかわらず失敗した。 科学論文の再現は、高いレベルの要約しか得られなかった。 臨床注記検査では、複製ではなくデータ再構成による適切なプライバシー保護が示された。 議論: 文学的コンテンツの抽出の成功は、トレーニングデータにおける潜在的著作権物質の存在を示し、推論時間フィルタリングの強化を必要とする。 コンテンツの種類による異なる成功率は、様々な保護機構を示唆している。 この出来事により、GPT4DFCIに著作権固有のメタプロンプトが実装され、この緩和は2025年1月から生産されている。 結論: 組織的な赤いチーム構成は、生成的AI著作権コンプライアンスの特定の脆弱性を明らかにし、具体的な緩和戦略につながった。 生成AIをデプロイする学術医療機関は、法的および倫理的コンプライアンスを保証するために、継続的なテストプロトコルを実装しなければならない。

関連論文リスト

• Evidencing Unauthorized Training Data from AI Generated Content using Information Isotopes [0.0]
  競争力を維持するために、一部の機関は必然的に、または故意に、AIトレーニングのための不正なデータを含めるかもしれない。 我々は情報同位体の概念を導入し、不透明なAIシステム内のトレーニングデータの追跡においてそれらの特性を解明する。 本研究では,不正なデータ使用の証拠を同定し,提示するための情報同位体追跡手法を提案する。
  論文  参考訳（メタデータ） (2025-03-24T07:35:59Z)
• Generative AI Training and Copyright Law [0.1074267520911262]
  生成AIモデルのトレーニングには大量のデータが必要である。 一般的な慣行は、ウェブスクレイピングを通じてそのようなデータを収集することである。しかしながら、収集されたものの多くは著作権で保護されている。 米国では、AI開発者は"フェアユース"に依存しており、ヨーロッパでは、"テキストとデータマイニング"(TDM)の例外が適用されるという見解が一般的である。
  論文  参考訳（メタデータ） (2025-02-21T08:45:14Z)
• Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools [32.78336381381673]
  本稿では,AI駆動型法律研究ツールの事前登録による実証評価について報告する。 LexisNexis(Lexis+ AI)とThomson Reuters(Westlaw AI-Assisted ResearchとAsk Practical Law AI)によるAI研究ツールは、それぞれ17%から33%の時間で幻覚化している。 それは、AIのアウトプットを監督し検証する法的専門家の責任を知らせる証拠を提供する。
  論文  参考訳（メタデータ） (2024-05-30T17:56:05Z)
• Using Generative AI for Literature Searches and Scholarly Writing: Is the Integrity of the Scientific Discourse in Jeopardy? [0.0]
  我々は,学術界で現在進行中の議論を,主要な学術出版社によるニュース記事,編集,立場声明のレビューで報告する。 学術的な執筆を目的として,ChatGPTと類似のAIツールの潜在的に有用な機能と有意義な応用について概説する。
  論文  参考訳（メタデータ） (2023-10-07T23:31:24Z)
• Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
  本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
  論文  参考訳（メタデータ） (2023-08-28T18:51:09Z)
• A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
  IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。 我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。 このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
  論文  参考訳（メタデータ） (2023-07-20T17:33:25Z)
• The State of AI Ethics Report (January 2021) [34.40432073381641]
  State of AI Ethicsは、機械学習の専門家から人権活動家や政策立案者まで、あらゆる人たちを支援することを目的としている。 このレポートは、アルゴリズム上の不正、差別、倫理的AI、労働影響、誤情報、プライバシー、リスクとセキュリティ、ソーシャルメディアなど、AIの倫理に関するさまざまな領域に関する調査と報告を精査している。 本報告の特筆すべき点は、Katlyn Tuner博士 (Research Scientist, Space Enabled Research Group, MIT)、Danielle Wood博士 (Assistant Professor, Program) による『The Abuse and Misogynoir Playbook』である。
  論文  参考訳（メタデータ） (2021-05-19T10:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。