Fugu-MT 論文翻訳(概要): The poison of dimensionality

論文の概要: The poison of dimensionality

arxiv url: http://arxiv.org/abs/2409.17328v1
Date: Wed, 25 Sep 2024 20:06:33 GMT
ステータス: 処理完了
システム内更新日: 2024-09-30 12:15:34.931334
Title: The poison of dimensionality
Title（参考訳）: 次元の毒
Authors: L\^e-Nguy\^en Hoang
Abstract要約: 本稿では,機械学習モデルのサイズが毒性の脆弱性に与える影響について理解を深める。実験では、モデル表現力の増強と毒薬の攻撃面の増大の基本的なトレードオフを明らかにする。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper advances the understanding of how the size of a machine learning model affects its vulnerability to poisoning, despite state-of-the-art defenses. Given isotropic random honest feature vectors and the geometric median (or clipped mean) as the robust gradient aggregator rule, we essentially prove that, perhaps surprisingly, linear and logistic regressions with $D \geq 169 H^2/P^2$ parameters are subject to arbitrary model manipulation by poisoners, where $H$ and $P$ are the numbers of honestly labeled and poisoned data points used for training. Our experiments go on exposing a fundamental tradeoff between augmenting model expressivity and increasing the poisoners' attack surface, on both synthetic data, and on MNIST & FashionMNIST data for linear classifiers with random features. We also discuss potential implications for source-based learning and neural nets.
Abstract（参考訳）: 本稿では,最先端の防御にもかかわらず,機械学習モデルのサイズが毒の危険性に与える影響について理解を深める。等方的ランダムな特徴ベクトルと幾何的中央値(あるいはクリッピング平均)を頑健な勾配アグリゲータ規則として与えると、おそらく、$D \geq 169 H^2/P^2$パラメータが任意のモデル操作の対象となり、$H$と$P$は、訓練に使用される正直なラベル付きおよび有毒なデータポイントの数であることを示す。実験では, モデル表現率の増大と, 攻撃面の増大, 両方の合成データ, およびランダムな特徴を持つ線形分類器に対するMNIST & FashionMNISTデータに対する基本的なトレードオフを明らかにした。また、ソースベース学習とニューラルネットの可能性についても論じる。

関連論文リスト

PoisonBench: Assessing Large Language Model Vulnerability to Data Poisoning [32.508939142492004]
我々は、好み学習中のデータ中毒に対する大規模言語モデルの感受性を評価するためのベンチマークであるPoisonBenchを紹介する。データ中毒攻撃は、隠れた悪意のあるコンテンツやバイアスを含むために、大きな言語モデルレスポンスを操作することができる。 8つの現実的なシナリオに2つの異なる攻撃タイプをデプロイし、21の広く使用されているモデルを評価します。
論文参考訳（メタデータ） (2024-10-11T13:50:50Z)
Have You Poisoned My Data? Defending Neural Networks against Data Poisoning [0.393259574660092]
本稿では,トランスファー学習環境における有毒なデータポイントの検出とフィルタリングを行う新しい手法を提案する。有効毒は, 特徴ベクトル空間の清浄点とよく区別できることを示す。提案手法は, 防衛率と最終訓練モデルの性能において, 既存の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-03-20T11:50:16Z)
On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
論文参考訳（メタデータ） (2023-06-28T17:59:35Z)
Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
論文参考訳（メタデータ） (2023-06-06T14:45:24Z)
Chaos Theory and Adversarial Robustness [0.0]
本稿では、カオス理論の考え方を用いて、ニューラルネットワークが敵対的攻撃に対してどのような影響を受けやすいか、あるいは堅牢であるかを説明し、分析し、定量化する。我々は、与えられた入力に対する摂動によってモデルの出力がどれほど大きく変化するかをキャプチャする、$hat Psi(h,theta)$によって与えられる新しい計量である「感受性比」を示す。
論文参考訳（メタデータ） (2022-10-20T03:39:44Z)
$p$-DkNN: Out-of-Distribution Detection Through Statistical Testing of Deep Representations [32.99800144249333]
我々は、訓練された深層ニューラルネットワークを使用し、その中間の隠蔽表現の類似構造を分析する新しい推論手順である$p$-DkNNを紹介した。我々は、$p$-DkNNでアダプティブアタッカーが、最悪のOOD入力の形式である敵の例を作成して、入力に意味のある変更を導入する。
論文参考訳（メタデータ） (2022-07-25T21:42:08Z)
CARD: Classification and Regression Diffusion Models [51.0421331214229]
本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
論文参考訳（メタデータ） (2022-06-15T03:30:38Z)
Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文参考訳（メタデータ） (2021-11-15T09:08:27Z)
Indiscriminate Poisoning Attacks Are Shortcuts [77.38947817228656]
その結果, 標的ラベルを付与した場合, 進行性毒素攻撃の摂動は, ほぼ分離可能であることがわかった。このような合成摂動は、故意に作られた攻撃と同じくらい強力であることを示す。我々の発見は、アンフショートカット学習の問題が以前考えられていたよりも深刻であることを示唆している。
論文参考訳（メタデータ） (2021-11-01T12:44:26Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
A Neural Scaling Law from the Dimension of the Data Manifold [8.656787568717252]
データが豊富であれば、よく訓練されたニューラルネットワークによって達成される損失は、ネットワークパラメータの数でN-alpha$のパワーロープロットとしてスケールする。スケーリングの法則は、ニューラルモデルが本質的に内在次元$d$のデータ多様体上で回帰を行えば説明できる。この単純な理論は、スケーリング指数が、クロスエントロピーと平均二乗誤差損失に対して$alpha approx 4/d$となることを予測している。
論文参考訳（メタデータ） (2020-04-22T19:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。