論文の概要: Studying Various Activation Functions and Non-IID Data for Machine Learning Model Robustness

• arxiv url: http://arxiv.org/abs/2512.04264v1
• Date: Wed, 03 Dec 2025 21:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.883
• Title: Studying Various Activation Functions and Non-IID Data for Machine Learning Model Robustness
• Title（参考訳）: 機械学習モデルロバストネスのための各種活性化関数と非IIDデータの研究
• Authors: Long Dang, Thushari Hapuarachchi, Kaiqi Xiong, Jing Lin,
• Abstract要約: 本研究では,10種類のアクティベーション関数を用いた機械学習モデル(ML)のロバスト性を検討した。 提案手法は,77.08%,67.96%の自然的かつ堅牢な精度を実現する。 しかし, 連合学習環境においては, 特に非IIDデータにおいて, 頑健な精度が著しく低下する。
• 参考スコア（独自算出の注目度）: 3.641683644638084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is an effective method to improve the machine learning (ML) model robustness. Most existing studies typically consider the Rectified linear unit (ReLU) activation function and centralized training environments. In this paper, we study the ML model robustness using ten different activation functions through adversarial training in centralized environments and explore the ML model robustness in federal learning environments. In the centralized environment, we first propose an advanced adversarial training approach to improving the ML model robustness by incorporating model architecture change, soft labeling, simplified data augmentation, and varying learning rates. Then, we conduct extensive experiments on ten well-known activation functions in addition to ReLU to better understand how they impact the ML model robustness. Furthermore, we extend the proposed adversarial training approach to the federal learning environment, where both independent and identically distributed (IID) and non-IID data settings are considered. Our proposed centralized adversarial training approach achieves a natural and robust accuracy of 77.08% and 67.96%, respectively on CIFAR-10 against the fast gradient sign attacks. Experiments on ten activation functions reveal ReLU usually performs best. In the federated learning environment, however, the robust accuracy decreases significantly, especially on non-IID data. To address the significant performance drop in the non-IID data case, we introduce data sharing and achieve the natural and robust accuracy of 70.09% and 54.79%, respectively, surpassing the CalFAT algorithm, when 40% data sharing is used. That is, a proper percentage of data sharing can significantly improve the ML model robustness, which is useful to some real-world applications.
• Abstract（参考訳）: 対人訓練は機械学習(ML)モデルの堅牢性を改善する効果的な方法である。 既存の研究の多くは、典型的にはRectified linear unit (ReLU) アクティベーション機能と集中トレーニング環境について検討している。 本稿では,10種類のアクティベーション関数を用いたMLモデルのロバスト性について,中央集権環境における対人訓練を通じて検討し,連邦学習環境におけるMLモデルのロバスト性について検討する。 中央集権環境では,モデルアーキテクチャの変更,ソフトラベリング,データ拡張の簡略化,学習率の変化を取り入れて,MLモデルの堅牢性を向上させるための高度な逆トレーニング手法を提案する。 次に、ReLUに加えて10個のよく知られたアクティベーション関数について広範な実験を行い、それがMLモデルの堅牢性に与える影響をよりよく理解する。 さらに,提案手法を,独立および同一分散(IID)と非IIDデータ設定の両方を考慮した連邦学習環境に拡張する。 提案手法は, CIFAR-10において, 高速勾配標識攻撃に対して, それぞれ77.08%, 67.96%の自然的, 頑健な精度を実現する。 10個のアクティベーション関数の実験では、ReLUは通常最高の性能を示す。 しかし, 連合学習環境においては, 特に非IIDデータにおいて, 頑健な精度が著しく低下する。 非IIDデータの場合の大幅な性能低下に対処するため、データ共有を導入し、70.09%と54.79%の自然的および堅牢な精度をそれぞれ達成し、40%のデータ共有を使用する場合、CalFATアルゴリズムを上回ります。 すなわち、データ共有の適切なパーセンテージは、MLモデルの堅牢性を大幅に改善することができる。

関連論文リスト

• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• LifelongPR: Lifelong point cloud place recognition based on sample replay and prompt learning [15.464706470200337]
  本稿では,PCPRのための新しい連続学習フレームワークであるLifelongPRを提案する。 LifelongPRは、シーケンシャルポイントクラウドデータから知識を効果的に抽出し、融合する。 提案手法はmIR@1の6.50%,mR@1の7.96%,Fの8.95%削減を実現する。
  論文  参考訳（メタデータ） (2025-07-14T08:13:33Z)
• Privacy-Preserved Automated Scoring using Federated Learning for Educational Research [1.2556373621040728]
  本稿では,教育評価の自動評価のための統合学習(FL)フレームワークを提案する。 我々は,2つの最先端FL手法と集中学習ベースラインに対して,我々のモデルをベンチマークする。 その結果,本モデルが最も精度が高い(94.5%)ことが示唆された。
  論文  参考訳（メタデータ） (2025-03-12T19:06:25Z)
• On the Robustness of Distributed Machine Learning against Transfer Attacks [1.0787328610467801]
  学習プロセスと推論プロセスの両方を分散させることによる堅牢性の組み合わせについて、事前の研究は行われていない。 本研究では,MLインスタンスの適切な分散化により,最先端の転送ベース攻撃に対する精度損耗トレードオフの改善が達成されることを示す。
  論文  参考訳（メタデータ） (2024-12-18T17:27:17Z)
• Streamlined Federated Unlearning: Unite as One to Be Highly Efficient [12.467630082668254]
  近年,「忘れられる権利」の制定は,連邦学習(FL)に新たなプライバシー要件を課している。 本研究では, モデル性能を劣化することなく保持データに保存しつつ, 対象データの影響を効果的に除去することを目的とした, 合理化アンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-28T12:52:48Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Improving Machine Learning Robustness via Adversarial Training [3.7942983866014073]
  本研究では,中央集権・分散環境における対人訓練によるMLの堅牢性について検討する。 中央集権環境では,敵の例を分類すると65.41%,83.0%の検査精度が得られる。 分散環境下では,独立・同一分散(IID)と非IIDデータを用いた対人訓練を用いて,フェデレートラーニング(FL)の堅牢性について検討する。
  論文  参考訳（メタデータ） (2023-09-22T02:43:04Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。