Fugu-MT 論文翻訳(概要): Robust Machine Learning via Privacy/Rate-Distortion Theory

論文の概要: Robust Machine Learning via Privacy/Rate-Distortion Theory

arxiv url: http://arxiv.org/abs/2007.11693v2
Date: Tue, 18 May 2021 21:13:24 GMT
ステータス: 処理完了
システム内更新日: 2022-11-07 22:38:48.394193
Title: Robust Machine Learning via Privacy/Rate-Distortion Theory
Title（参考訳）: プライバシ/レート・歪み理論によるロバスト機械学習
Authors: Ye Wang, Shuchin Aeron, Adnan Siraj Rakin, Toshiaki Koike-Akino, Pierre Moulin
Abstract要約: ロバストな機械学習の定式化は、敵対的な例に対するディープニューラルネットワークの一般的な脆弱性に対処するために現れている。我々の研究は、最適ロバスト学習とプライバシ・ユーティリティ・トレードオフ問題との関連性を引き合いに出し、これは率歪み問題の一般化である。この情報理論的な観点は、堅牢性とクリーンなデータパフォーマンスの基本的なトレードオフに光を当てています。
参考スコア（独自算出の注目度）: 34.28921458311185
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Robust machine learning formulations have emerged to address the prevalent vulnerability of deep neural networks to adversarial examples. Our work draws the connection between optimal robust learning and the privacy-utility tradeoff problem, which is a generalization of the rate-distortion problem. The saddle point of the game between a robust classifier and an adversarial perturbation can be found via the solution of a maximum conditional entropy problem. This information-theoretic perspective sheds light on the fundamental tradeoff between robustness and clean data performance, which ultimately arises from the geometric structure of the underlying data distribution and perturbation constraints.
Abstract（参考訳）: ニューラルネットワークの一般的な脆弱性に対処するために、ロバストなマシンラーニングの定式化が登場している。我々の研究は、最適ロバスト学習とプライバシ・ユーティリティ・トレードオフ問題との関連性を引き合いに出し、これは率歪み問題の一般化である。頑健な分類器と対向的な摂動の間のゲームのサドルポイントは、最大条件エントロピー問題の解によって見つけることができる。この情報理論的な観点は、ロバストネスとクリーンなデータ性能の基本的なトレードオフに光を当て、それは最終的に、基礎となるデータ分布と摂動制約の幾何学的構造から生じる。

関連論文リスト

The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文参考訳（メタデータ） (2024-01-25T09:18:51Z)
To be or not to be stable, that is the question: understanding neural networks for inverse problems [0.0]
本稿では,ニューラルネットワークの安定性と精度のトレードオフを理論的に解析する。ネットワークの安定性を高め、良好な精度を維持するために、異なる教師付きおよび教師なしのソリューションを提案する。
論文参考訳（メタデータ） (2022-11-24T16:16:40Z)
Robustness and invariance properties of image classifiers [8.970032486260695]
ディープニューラルネットワークは多くの画像分類タスクで印象的な結果を得た。ディープネットワークは、多種多様なセマンティック保存画像修正に対して堅牢ではない。画像分類器の小さなデータ分散シフトに対する堅牢性の低さは、その信頼性に関する深刻な懸念を引き起こす。
論文参考訳（メタデータ） (2022-08-30T11:00:59Z)
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文参考訳（メタデータ） (2021-10-21T07:28:11Z)
Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文参考訳（メタデータ） (2021-02-23T20:59:30Z)
Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文参考訳（メタデータ） (2020-12-03T10:17:30Z)
Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-08-01T00:58:54Z)
Derivation of Information-Theoretically Optimal Adversarial Attacks with Applications to Robust Machine Learning [11.206758778146288]
決定システムに対する最適な敵攻撃を設計する理論的問題を考察する。興味の離散的かつ連続的な信号に対する最適な敵攻撃の導出について述べる。入力信号の重複コピーが複数用意されている場合、相互情報の最小化のために敵攻撃を行うのは非常に困難であることを示す。
論文参考訳（メタデータ） (2020-07-28T07:45:25Z)
Unique properties of adversarially trained linear classifiers on Gaussian data [13.37805637358556]
対人学習研究コミュニティは対人摂動の根本原因を理解するために顕著な進歩を遂げています現実のデータセットに洞察が移ることを期待して、単純な問題に対する逆向きに頑健な学習理論を開発することが一般的である。特に線形分類器を用いて、任意のレベルの逆汚職の下でガウスデータの二項分類問題を解くことは常に可能であることを示す。
論文参考訳（メタデータ） (2020-06-06T14:06:38Z)
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。