論文の概要: A Linear Approach to Data Poisoning
- arxiv url: http://arxiv.org/abs/2505.15175v1
- Date: Wed, 21 May 2025 06:45:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:59.019537
- Title: A Linear Approach to Data Poisoning
- Title(参考訳): データポジショニングへの線形アプローチ
- Authors: Diego Granziol, Donald Flynn,
- Abstract要約: 機械学習モデルにおけるデータ中毒攻撃の理論的基礎について検討する。
以上の結果から,ヘッセン系は毒素検出の診断ツールとして有用であることが判明した。
ネットワークが汚染されているかどうかを判断する予備アルゴリズムを開発し、さらなるトレーニングを必要としない治療を行う。
- 参考スコア(独自算出の注目度): 1.3044677039636756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the theoretical foundations of data poisoning attacks in machine learning models. Our analysis reveals that the Hessian with respect to the input serves as a diagnostic tool for detecting poisoning, exhibiting spectral signatures that characterize compromised datasets. We use random matrix theory (RMT) to develop a theory for the impact of poisoning proportion and regularisation on attack efficacy in linear regression. Through QR stepwise regression, we study the spectral signatures of the Hessian in multi-output regression. We perform experiments on deep networks to show experimentally that this theory extends to modern convolutional and transformer networks under the cross-entropy loss. Based on these insights we develop preliminary algorithms to determine if a network has been poisoned and remedies which do not require further training.
- Abstract(参考訳): 機械学習モデルにおけるデータ中毒攻撃の理論的基礎について検討する。
分析の結果, 入力に対するヘッセンは, 汚染されたデータセットを特徴付けるスペクトルシグネチャを呈し, 毒性を検出する診断ツールとして機能していることがわかった。
我々はランダム行列理論(RMT)を用いて、線形回帰における攻撃効果に対する中毒率と正則化の影響の理論を開発する。
QRレグレッションにより,多出力レグレッションにおけるヘシアンスペクトルのシグネチャについて検討する。
我々は,この理論が,クロスエントロピー損失の下で,現代の畳み込み・変圧器ネットワークに拡張されることを実験的に示すために,ディープネットワークの実験を行った。
これらの知見に基づいて、ネットワークが汚染されているかどうかを判断する予備的アルゴリズムを開発し、さらなるトレーニングを必要としない改善を行う。
関連論文リスト
- Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。
近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。
標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
論文 参考訳(メタデータ) (2024-10-29T09:03:57Z) - Provable Robustness of (Graph) Neural Networks Against Data Poisoning and Backdoor Attacks [50.87615167799367]
グラフニューラルネットワーク(GNN)は、特定のグラフのノード特徴をターゲットとして、バックドアを含む有毒な攻撃に対して認証する。
コンボリューションベースのGNNとPageRankベースのGNNの最悪の動作におけるグラフ構造の役割とその接続性に関する基本的な知見を提供する。
論文 参考訳(メタデータ) (2024-07-15T16:12:51Z) - ResSurv: Cancer Survival Analysis Prediction Model Based on Residual Networks [0.0]
本稿では,Deep Residual Learningに基づく新しいフレームワークを提案する。
ニューラルネットワークの損失関数については,Cox比例ハザード法を継承した。
最後に、異なる深さのResSurvネットワークを比較し、高次元の特徴を効果的に抽出できることを見出した。
論文 参考訳(メタデータ) (2024-05-11T11:50:43Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳(メタデータ) (2023-12-29T04:15:58Z) - Rethinking Backdoor Attacks on Dataset Distillation: A Kernel Method
Perspective [65.70799289211868]
本稿では, データセット蒸留に特化した2つの新しい理論駆動トリガパターン生成手法を提案する。
最適化に基づくトリガ設計フレームワークは,データセットの蒸留に対する効果的なバックドア攻撃を通知する。
論文 参考訳(メタデータ) (2023-11-28T09:53:05Z) - A Robust Backpropagation-Free Framework for Images [47.97322346441165]
画像データに対するエラーカーネル駆動型アクティベーションアライメントアルゴリズムを提案する。
EKDAAは、ローカルに派生したエラー送信カーネルとエラーマップを導入することで達成される。
結果は、識別不能なアクティベーション機能を利用するEKDAAトレーニングCNNに対して提示される。
論文 参考訳(メタデータ) (2022-06-03T21:14:10Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Dropout: Explicit Forms and Capacity Control [57.36692251815882]
各種機械学習問題におけるドロップアウトによるキャパシティ制御について検討する。
ディープラーニングでは、ドロップアウトによるデータ依存型正規化器が、基礎となるディープニューラルネットワークのクラスであるRademacherの複雑さを直接制御していることを示す。
MovieLens, MNIST, Fashion-MNISTなどの実世界のデータセットに関する理論的知見を評価する。
論文 参考訳(メタデータ) (2020-03-06T19:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。