論文の概要: VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence
- arxiv url: http://arxiv.org/abs/2405.07316v1
- Date: Sun, 12 May 2024 15:55:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 15:34:20.396385
- Title: VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence
- Title（参考訳）: VALID: 可逆的存在を考慮した分散ネットワーク学習のための検証アルゴリズム
- Authors: Mayank Bakshi, Sara Ghasvarianjahromi, Yauhen Yakimenka, Allison Beemer, Oliver Kosut, Joerg Kliewer,
- Abstract要約: 不均一なデータを持つ非方向性ネットワークに対して、検証された分散学習のパラダイムを導入する。
VALIDプロトコルは、検証された学習保証を達成した最初のプロトコルである。
興味深いことに、VALIDは敵のない環境での最適なパフォーマンス指標を維持している。
- 参考スコア（独自算出の注目度）: 13.612214163974459
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce the paradigm of validated decentralized learning for undirected networks with heterogeneous data and possible adversarial infiltration. We require (a) convergence to a global empirical loss minimizer when adversaries are absent, and (b) either detection of adversarial presence of convergence to an admissible consensus irrespective of the adversarial configuration. To this end, we propose the VALID protocol which, to the best of our knowledge, is the first to achieve a validated learning guarantee. Moreover, VALID offers an O(1/T) convergence rate (under pertinent regularity assumptions), and computational and communication complexities comparable to non-adversarial distributed stochastic gradient descent. Remarkably, VALID retains optimal performance metrics in adversary-free environments, sidestepping the robustness penalties observed in prior byzantine-robust methods. A distinctive aspect of our study is a heterogeneity metric based on the norms of individual agents' gradients computed at the global empirical loss minimizer. This not only provides a natural statistic for detecting significant byzantine disruptions but also allows us to prove the optimality of VALID in wide generality. Lastly, our numerical results reveal that, in the absence of adversaries, VALID converges faster than state-of-the-art byzantine robust algorithms, while when adversaries are present, VALID terminates with each honest either converging to an admissible consensus of declaring adversarial presence in the network.
- Abstract（参考訳）: 異種データと対向的浸透の可能性を持つ非方向性ネットワークに対して、検証された分散学習のパラダイムを導入する。
必要です。
(a)敵がいないときの世界的経験損失最小化器に収束し、
b) 敵対的構成にかかわらず,許容的コンセンサスに対する敵的収束の有無を検出すること。
この目的のために、我々は、我々の知る限り、検証された学習保証を最初に達成するVALIDプロトコルを提案する。
さらに、VALIDはO(1/T)収束率(関連する正則性仮定の下で)と、非逆分散確率勾配勾配に匹敵する計算と通信の複雑さを提供する。
注目すべきは、VALIDは、逆境のない環境での最適なパフォーマンス指標を保持し、以前のビザンチン・ロバスト法で観察された堅牢性ペナルティをサイドステッピングすることである。
本研究の特筆すべき側面は、グローバルな経験損失最小化器で計算された個々のエージェントの勾配のノルムに基づく不均一度計量である。
これは、重要なビザンチン破壊を検出するための自然な統計を提供するだけでなく、VALIDの最適性を幅広い一般性で証明することを可能にする。
最後に, 敵がいない場合, VALIDは最先端のビザンチン頑健なアルゴリズムよりも高速に収束する一方で, 敵が存在する場合, VALIDは各誠実さで終了するか, あるいはネットワーク内の敵の存在を宣言する許容的コンセンサスに収束する。
関連論文リスト
- Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。
すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
論文 参考訳（メタデータ） (2024-06-09T08:11:12Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Distributional Shift-Aware Off-Policy Interval Estimation: A Unified
Error Quantification Framework [8.572441599469597]
本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。
目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。
提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
論文 参考訳（メタデータ） (2023-09-23T06:35:44Z) - Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。
表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文 参考訳（メタデータ） (2023-05-23T12:20:29Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳（メタデータ） (2021-05-23T01:50:44Z) - Controllable Guarantees for Fair Outcomes via Contrastive Information
Estimation [32.37031528767224]
トレーニングデータセットにおけるバイアスの制御は、下流のアプリケーションで異なるグループ間で平等に扱われることを保証するために不可欠である。
対比情報推定器に基づく相互情報によるパリティ制御の効果的な方法を示す。
uci成人および遺産健康データセットに対する我々のアプローチをテストし、このアプローチが所望のパリティ閾値にまたがってより有益な表現を提供することを実証する。
論文 参考訳（メタデータ） (2021-01-11T18:57:33Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-10T01:55:02Z) - Estimating Uncertainty Intervals from Collaborating Networks [15.467208581231848]
本稿では,2つの損失関数を持つ2つのニューラルネットワークを定義することにより,回帰の予測分布を推定する新しい手法を提案する。
具体的には、あるネットワークは累積分布関数を近似し、2番目のネットワークはその逆を近似する。
我々は、糖尿病患者のA1c値を電子健康記録から予測するなど、CNを2つの合成および6つの実世界のデータセットに対するいくつかの一般的なアプローチと比較した。
論文 参考訳（メタデータ） (2020-02-12T20:10:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。