論文の概要: Red Teaming for Generative AI, Report on a Copyright-Focused Exercise Completed in an Academic Medical Center

• arxiv url: http://arxiv.org/abs/2506.22523v3
• Date: Wed, 02 Jul 2025 21:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 13:25:27.611846
• Title: Red Teaming for Generative AI, Report on a Copyright-Focused Exercise Completed in an Academic Medical Center
• Title（参考訳）: ジェネレーティブAIのためのレッドチーム, アカデミックメディカルセンターにおける著作権侵害運動の報告
• Authors: James Wen, Sahil Nalawade, Zhiwei Liang, Catherine Bielick, Marisa Ferrara Boston, Alexander Chowdhury, Adele Collin, Luigi De Angelis, Jacob Ellen, Heather Frase, Rodrigo R. Gameiro, Juan Manuel Gutierrez, Pooja Kadam, Murat Keceli, Srikanth Krishnamurthy, Anne Kwok, Yanan Lance Lu, Heather Mattie, Liam G. McCoy, Katherine Miller, Allison C. Morgan, Marlene Louisa Moerig, Trang Nguyen, Alexander Owen-Post, Alex D. Ruiz, Sreekar Reddy Puchala, Soujanya Samineni, Takeshi Tohyama, Varun Ullanat, Carmine Valenza, Camilo Velez, Pengcheng Wang, Anna Wuest, Yuxiang Zhou, Yingde Zhu, Jason M. Johnson, Naomi Lenane, Jennifer Willcox, Francis J. Vitiello, Leo Anthony G. Celi, Renato Umeton,
• Abstract要約: 学術的な医療環境における生成的人工知能(AI)の展開は著作権の遵守を懸念する。 Dana-Farber Cancer Instituteは、OpenAIモデルを利用した内部生成AIツールであるGPT4DFCIを実装した。 4つのチームが4つのドメインでGPT4DFCIから著作権のあるコンテンツを抽出しようとした。
• 参考スコア（独自算出の注目度）: 49.85176045690678
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Background: Generative artificial intelligence (AI) deployment in academic medical settings raises copyright compliance concerns. Dana-Farber Cancer Institute implemented GPT4DFCI, an internal generative AI tool utilizing OpenAI models, that is approved for enterprise use in research and operations. Given (1) the exceptionally broad adoption of the tool in our organization, (2) our research mission, and (3) the shared responsibility model required to benefit from Customer Copyright Commitment in Azure OpenAI Service products, we deemed rigorous copyright compliance testing necessary. Case Description: We conducted a structured red teaming exercise in Nov. 2024, with 42 participants from academic, industry, and government institutions. Four teams attempted to extract copyrighted content from GPT4DFCI across four domains: literary works, news articles, scientific publications, and access-restricted clinical notes. Teams successfully extracted verbatim book dedications and near-exact passages through various strategies. News article extraction failed despite jailbreak attempts. Scientific article reproduction yielded only high-level summaries. Clinical note testing revealed appropriate privacy safeguards. Discussion: The successful extraction of literary content indicates potential copyrighted material presence in training data, necessitating inference-time filtering. Differential success rates across content types suggest varying protective mechanisms. The event led to implementation of a copyright-specific meta-prompt in GPT4DFCI; this mitigation has been in production since Jan. 2025. Conclusion: Systematic red teaming revealed specific vulnerabilities in generative AI copyright compliance, leading to concrete mitigation strategies. Academic medical institutions deploying generative AI should implement continuous testing protocols to ensure legal and ethical compliance.
• Abstract（参考訳）: 背景: 学術的な医療環境における生成的人工知能(AI)の展開は著作権の遵守を懸念する。 Dana-Farber Cancer Instituteは、OpenAIモデルを利用した内部生成AIツールであるGPT4DFCIを実装した。 1) 当社の組織におけるツールの極めて広範な採用,(2) 研究ミッション,(3) Azure OpenAI Service 製品における顧客著作権コミットの恩恵を受けるために必要な共有責任モデルを考えると,厳格な著作権コンプライアンステストが必要であると考えられる。 事例説明:2024年11月,学術,産業,政府機関の42名の参加者とともに,構造化されたレッドチーム演習を実施した。 4つのチームは、GPT4DFCIから著作物、ニュース記事、科学出版物、アクセス制限された臨床ノートの4つの領域で著作権のあるコンテンツを抽出しようとした。 チームは様々な戦略を通じて、冗長な本献身とほぼ正確なパスを抽出することに成功しました。 ニュース記事の抽出は、脱獄未遂にもかかわらず失敗した。 科学論文の再現は、高いレベルの要約しか得られなかった。 臨床検査では適切なプライバシー保護が認められた。 議論: 文学的コンテンツの抽出の成功は、トレーニングデータに著作権のある物質が存在する可能性を示し、推論時フィルタリングを必要とする。 コンテンツの種類による異なる成功率は、様々な保護機構を示唆している。 この出来事は、GPT4DFCIにおける著作権固有のメタプロンプトの実装につながったが、この緩和は2025年1月から生産されている。 結論: 組織的な赤いチーム構成は、生成的AI著作権コンプライアンスの特定の脆弱性を明らかにし、具体的な緩和戦略につながった。 生成AIをデプロイする学術医療機関は、法的および倫理的コンプライアンスを保証するために、継続的なテストプロトコルを実装する必要がある。

関連論文リスト

• Hidden Prompts in Manuscripts Exploit AI-Assisted Peer Review [0.0]
  プレプリントのウェブサイト arXiv にある18の学術写本は、AI支援ピアレビューを操作するために設計された隠された命令を含んでいることが発見された。 著者の反応は様々で、1人は影響を受けた論文を撤回する計画を立て、もう1人はレビュアーコンプライアンスの合法的なテストとしてプラクティスを擁護した。 大規模言語モデル (LLM) におけるプロンプト注入技術について検討し, 4種類の隠蔽プロンプトを明らかにする。
  論文  参考訳（メタデータ） (2025-07-08T17:11:13Z)
• BAGELS: Benchmarking the Automated Generation and Extraction of Limitations from Scholarly Text [6.682911432177815]
  科学的研究において、制限とは研究における欠点、制約、弱点を指す。 著者は、しばしばa) 論文のテキストにそれらを下書きし、b) 編集要件を満たすためにヘッジ戦略を使用する。 この過度に報告された行動は、出版物の爆発と共に、そのような制限を自動で抽出したり、生成したりする必要が迫られている。
  論文  参考訳（メタデータ） (2025-05-22T06:04:02Z)
• Tasks and Roles in Legal AI: Data Curation, Annotation, and Verification [4.099848175176399]
  AIツールの法分野への応用は、自然に感じられる。 しかし、法的文書は、ほとんどのAIシステムの基盤となるウェブベースのテキストとは異なる。 我々は、データキュレーション、データアノテーション、出力検証の3つの分野を実践者に対して特定する。
  論文  参考訳（メタデータ） (2025-04-02T04:34:58Z)
• Evidencing Unauthorized Training Data from AI Generated Content using Information Isotopes [0.0]
  競争力を維持するために、一部の機関は必然的に、または故意に、AIトレーニングのための不正なデータを含めるかもしれない。 我々は情報同位体の概念を導入し、不透明なAIシステム内のトレーニングデータの追跡においてそれらの特性を解明する。 本研究では,不正なデータ使用の証拠を同定し,提示するための情報同位体追跡手法を提案する。
  論文  参考訳（メタデータ） (2025-03-24T07:35:59Z)
• Generative AI Training and Copyright Law [0.1074267520911262]
  生成AIモデルのトレーニングには大量のデータが必要である。 一般的な慣行は、ウェブスクレイピングを通じてそのようなデータを収集することである。しかしながら、収集されたものの多くは著作権で保護されている。 米国では、AI開発者は"フェアユース"に依存しており、ヨーロッパでは、"テキストとデータマイニング"(TDM)の例外が適用されるという見解が一般的である。
  論文  参考訳（メタデータ） (2025-02-21T08:45:14Z)
• Suspected Undeclared Use of Artificial Intelligence in the Academic Literature: An Analysis of the Academ-AI Dataset [0.0]
  アカデミックAIは、学術文献における未宣言のAI使用の疑いのある事例を文書化している。 宣言されていないAIは、引用基準が高く、記事処理料金が高いジャーナルに現れるようだ。
  論文  参考訳（メタデータ） (2024-11-20T21:29:36Z)
• Evaluating Copyright Takedown Methods for Language Models [100.38129820325497]
  言語モデル(LM)は、潜在的に著作権のある資料を含む様々なデータに対する広範な訓練からその能力を引き出す。 本稿では,LMの著作権削除の可能性と副作用を初めて評価する。 システムプロンプトの追加、デコード時間フィルタリングの介入、未学習アプローチなど、いくつかの戦略を検討する。
  論文  参考訳（メタデータ） (2024-06-26T18:09:46Z)
• Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools [32.78336381381673]
  本稿では,AI駆動型法律研究ツールの事前登録による実証評価について報告する。 LexisNexis(Lexis+ AI)とThomson Reuters(Westlaw AI-Assisted ResearchとAsk Practical Law AI)によるAI研究ツールは、それぞれ17%から33%の時間で幻覚化している。 それは、AIのアウトプットを監督し検証する法的専門家の責任を知らせる証拠を提供する。
  論文  参考訳（メタデータ） (2024-05-30T17:56:05Z)
• Report of the 1st Workshop on Generative AI and Law [78.62063815165968]
  本報告では、生成AIと法に関する第1回ワークショップ(GenLaw)の開催状況について述べる。 コンピュータサイエンスと法学の実践者や学者の学際的なグループが集まり、ジェネレーティブAI法がもたらす技術的、教義的、政策上の課題について議論した。
  論文  参考訳（メタデータ） (2023-11-11T04:13:37Z)
• Using Generative AI for Literature Searches and Scholarly Writing: Is the Integrity of the Scientific Discourse in Jeopardy? [0.0]
  我々は,学術界で現在進行中の議論を,主要な学術出版社によるニュース記事,編集,立場声明のレビューで報告する。 学術的な執筆を目的として,ChatGPTと類似のAIツールの潜在的に有用な機能と有意義な応用について概説する。
  論文  参考訳（メタデータ） (2023-10-07T23:31:24Z)
• Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
  本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
  論文  参考訳（メタデータ） (2023-08-28T18:51:09Z)
• FUTURE-AI: International consensus guideline for trustworthy and deployable artificial intelligence in healthcare [73.78776682247187]
  医療AIに関連する技術的、臨床的、倫理的、法的リスクに関する懸念が高まっている。 この研究は、Future-AIガイドラインを、医療における信頼できるAIツールの開発とデプロイを導くための最初の国際コンセンサスフレームワークとして説明している。
  論文  参考訳（メタデータ） (2023-08-11T10:49:05Z)
• A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
  IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。 我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。 このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
  論文  参考訳（メタデータ） (2023-07-20T17:33:25Z)
• The State of AI Ethics Report (January 2021) [34.40432073381641]
  State of AI Ethicsは、機械学習の専門家から人権活動家や政策立案者まで、あらゆる人たちを支援することを目的としている。 このレポートは、アルゴリズム上の不正、差別、倫理的AI、労働影響、誤情報、プライバシー、リスクとセキュリティ、ソーシャルメディアなど、AIの倫理に関するさまざまな領域に関する調査と報告を精査している。 本報告の特筆すべき点は、Katlyn Tuner博士 (Research Scientist, Space Enabled Research Group, MIT)、Danielle Wood博士 (Assistant Professor, Program) による『The Abuse and Misogynoir Playbook』である。
  論文  参考訳（メタデータ） (2021-05-19T10:59:17Z)
• How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence [81.04070052740596]
  法律人工知能(Legal AI)は、人工知能、特に自然言語処理の技術を適用して、法的領域におけるタスクに役立てることに焦点を当てている。 本稿では,LegalAIにおける研究の歴史,現状,今後の方向性について紹介する。
  論文  参考訳（メタデータ） (2020-04-25T14:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。