論文の概要: Distributed Denial of Science: How Indirect Data Poisoning of AI Systems Can Industrialize Scientific Fraud
- arxiv url: http://arxiv.org/abs/2607.10712v1
- Date: Sun, 12 Jul 2026 11:07:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.509459
- Title: Distributed Denial of Science: How Indirect Data Poisoning of AI Systems Can Industrialize Scientific Fraud
- Title(参考訳): 科学の分散否定:AIシステムの間接的データポジショニングが科学的詐欺を工業化する方法
- Abstract要約: 我々は,新たな攻撃である間接的データ中毒を評価し,敵がオープンデータセットを破損し,有害な変種を公開リポジトリにアップロードする。
以上の結果から, 間接的データ中毒は, 前例のない規模で科学的不正を防止できる可能性が示唆された。
- 参考スコア(独自算出の注目度): 10.014080517719472
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific fraud is the instrument of doubt that malicious entities can use to establish controversy in science. Historically, it required the resources of a company: deep pockets, ghostwritten articles, and corrupt academics. Today, Artificial Intelligence (AI) is increasingly automating scientific research, so we ask: Can a remote adversary weaponize the honest use of AI in science to compromise scientific integrity? We envision and empirically evaluate a new attack, indirect data poisoning, in which an adversary corrupts an open dataset and uploads the poisoned variant to a public repository. Autonomous research agents may independently retrieve and process this data, turning honest scientists into the unpaid and unwitting distributors of fraud at scale. Across five socially-salient topics, from hiring discrimination to the safety of autonomous vehicles, three widely used frontier AI systems (Claude Code with Claude Opus 4.7, Codex with GPT-5.5, Gemini CLI with Gemini 3.1 Pro), and 450 ethically contained experimental runs, we find that poisoning succeeds in 49.56% of runs, while the rate of poisoning detection is only 6.0%. The attack requires no topic-specific trigger-words, agent access, indirect prompt injection, or fabricated papers, only the open data ecosystem and misleading metadata. To mitigate the attacks, we propose and evaluate two measures: a scientist persona and a data provenance audit with five checks (referencing papers, social markers, statistical anomalies, related datasets, poisoning caution). We find that the persona still leaves 16.67% of runs with a poisoned conclusion, but provenance auditing reduces attack success rate to zero. Our results suggest that indirect data poisoning may enable scientific fraud at unprecedented scale, but these attacks can be mitigated with suitable auditing by agents during data retrieval.
- Abstract(参考訳): 科学的詐欺は、悪意ある実体が科学における論争を立証するために使用できるという疑念の道具である。
歴史的には、深いポケット、幽霊書き記事、腐敗した学者といった会社の資源を必要としていた。
今日、人工知能(AI)は科学研究の自動化をますます進めているので、我々は疑問に思う。 遠隔の敵は科学におけるAIの正直な使用を武器にして、科学の完全性を損なうことができるだろうか?
我々は、敵がオープンデータセットを破損し、有害な変異体をパブリックリポジトリにアップロードする、間接的なデータ中毒という新たな攻撃を想像し、実証的に評価する。
自律的な研究機関は、このデータを独立して回収し、処理し、誠実な科学者を無給で無知な詐欺の流通業者に変えることができる。
差別の雇用から自動運転車の安全性に至るまで、広く使われている3つのフロンティアAIシステム(Claude Code with Claude Opus 4.7, Codex with GPT-5.5, Gemini CLI with Gemini 3.1 Pro)、450の倫理的に包含された実験的実行を含む5つの社会的サレントなトピックにおいて、毒の検知率はわずか6.0%であり、49.56%である。
この攻撃では、トピック固有のトリガーワード、エージェントアクセス、間接的なプロンプトインジェクション、あるいは偽造文書、オープンなデータエコシステムと誤解を招くメタデータが不要である。
攻撃を緩和するために、科学者のペルソナと5つのチェック(論文、社会マーカー、統計異常、関連するデータセット、中毒の注意)によるデータ証明監査を提案し、評価する。
汚染された結論で16.67%の成績を残しているが、前立腺検査は攻撃成功率をゼロに抑える。
以上の結果から, 間接的データ中毒は, 前例のない規模で科学的不正を防止できる可能性が示唆された。
関連論文リスト
- Oracle Poisoning: Corrupting Knowledge Graphs to Weaponise AI Agent Reasoning [0.9236074230806578]
Oracle Poisoningは、相手が構造化知識グラフを破損させる攻撃クラスである。
プロンプトインジェクションとは異なり、Oracle Poisoningはデータエージェントを操作します。
プロダクション4200万ノードのコード知識グラフに対する6つの攻撃シナリオを実演する。
論文 参考訳(メタデータ) (2026-05-10T23:55:13Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳(メタデータ) (2026-04-26T08:03:32Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳(メタデータ) (2025-10-03T12:47:21Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳(メタデータ) (2023-12-11T18:50:57Z) - Autoregressive Perturbations for Data Poisoning [54.205200221427994]
ソーシャルメディアからのデータスクレイピングは、不正なデータの使用に関する懸念が高まっている。
データ中毒攻撃は、スクラップ対策として提案されている。
より広範なデータセットにアクセスせずに有毒なデータを生成できる自動回帰(AR)中毒を導入する。
論文 参考訳(メタデータ) (2022-06-08T06:24:51Z) - Poisoning Attack against Estimating from Pairwise Comparisons [140.9033911097995]
攻撃者はランクリストを操作するための強い動機と動機を持っている。
ペアワイズランキングアルゴリズムに対するデータ中毒攻撃は、ローダとアタッカーの間の動的および静的ゲームとして形式化することができる。
本稿では、2つの効率的な毒殺攻撃アルゴリズムを提案し、関連する理論的保証を確立する。
論文 参考訳(メタデータ) (2021-07-05T08:16:01Z) - Defening against Adversarial Denial-of-Service Attacks [0.0]
データ中毒は、機械学習とデータ駆動技術に対する最も関連するセキュリティ脅威の1つです。
我々は,dos有毒なインスタンスを検出する新しい手法を提案する。
2つのdos毒殺攻撃と7つのデータセットに対する我々の防御を評価し、毒殺事例を確実に特定できることを確認します。
論文 参考訳(メタデータ) (2021-04-14T09:52:36Z) - Property Inference From Poisoning [15.105224455937025]
プロパティ推論攻撃は、トレーニングされたモデルにアクセスでき、トレーニングデータのグローバルな統計を抽出しようとする敵を考える。
本研究では,モデルの情報漏洩を増大させることが目的とする中毒攻撃について検討する。
以上より,毒殺攻撃は情報漏洩を著しく促進し,敏感なアプリケーションにおいてより強力な脅威モデルと見なされるべきであることが示唆された。
論文 参考訳(メタデータ) (2021-01-26T20:35:28Z) - VenoMave: Targeted Poisoning Against Speech Recognition [30.448709704880518]
VENOMAVEは、音声認識に対する最初の訓練時間中毒攻撃である。
我々はTIDIGITSと音声コマンドの2つのデータセットに対する攻撃を評価した。
論文 参考訳(メタデータ) (2020-10-21T00:30:08Z) - Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and
Data Poisoning Attacks [74.88735178536159]
データ中毒は、モデル盗難から敵の攻撃まで、脅威の中で一番の懸念事項だ。
データ中毒やバックドア攻撃は、テスト設定のバリエーションに非常に敏感である。
厳格なテストを適用して、それらを恐れるべき程度を判断します。
論文 参考訳(メタデータ) (2020-06-22T18:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。