論文の概要: RCR-AF: Enhancing Model Generalization via Rademacher Complexity Reduction Activation Function
- arxiv url: http://arxiv.org/abs/2507.22446v1
- Date: Wed, 30 Jul 2025 07:45:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:18.072059
- Title: RCR-AF: Enhancing Model Generalization via Rademacher Complexity Reduction Activation Function
- Title（参考訳）: RCR-AF: Rademacher Complexity Reduction Activation Functionによるモデル一般化の強化
- Authors: Yunrui Yu, Kafeng Wang, Hang Su, Jun Zhu,
- Abstract要約: 本稿では, モデルロバスト性向上のための重要かつ未探索の要素として, アクティベーション機能について検討する。
本稿では,RCR-AF(Rademacher Complexity Reduction Activation Function)を提案する。
- 参考スコア（独自算出の注目度）: 28.98307539597017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their widespread success, deep neural networks remain critically vulnerable to adversarial attacks, posing significant risks in safety-sensitive applications. This paper investigates activation functions as a crucial yet underexplored component for enhancing model robustness. We propose a Rademacher Complexity Reduction Activation Function (RCR-AF), a novel activation function designed to improve both generalization and adversarial resilience. RCR-AF uniquely combines the advantages of GELU (including smoothness, gradient stability, and negative information retention) with ReLU's desirable monotonicity, while simultaneously controlling both model sparsity and capacity through built-in clipping mechanisms governed by two hyperparameters, $\alpha$ and $\gamma$. Our theoretical analysis, grounded in Rademacher complexity, demonstrates that these parameters directly modulate the model's Rademacher complexity, offering a principled approach to enhance robustness. Comprehensive empirical evaluations show that RCR-AF consistently outperforms widely-used alternatives (ReLU, GELU, and Swish) in both clean accuracy under standard training and in adversarial robustness within adversarial training paradigms.
- Abstract（参考訳）: 広く成功したにもかかわらず、ディープニューラルネットワークは敵の攻撃に致命的に脆弱であり、安全に敏感なアプリケーションに重大なリスクをもたらす。
本稿では, モデルロバスト性向上のための重要かつ未探索の要素として, アクティベーション機能について検討する。
本稿では,RCR-AF(Rademacher Complexity Reduction Activation Function)を提案する。
RCR-AFはGELU(滑らかさ、勾配安定性、負の情報保持を含む)の利点とReLUの望ましい単調さを一意に組み合わせ、同時に2つのハイパーパラメータである$\alpha$と$\gamma$で制御される内蔵クリッピング機構によってモデル空間とキャパシティの両方を制御している。
我々の理論解析は、ラデマッハの複雑性を基礎として、これらのパラメータがモデルのラデマッハの複雑性を直接変調し、ロバスト性を高めるための原則的なアプローチを提供することを示した。
総合的な経験的評価は、RCR-AFが標準訓練におけるクリーンな精度と敵の訓練パラダイムにおける敵の堅牢性の両方において、広く使われている代替品(ReLU、GELU、Swish)を一貫して上回っていることを示している。
関連論文リスト
- Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
大規模言語モデル(LLM)は複雑な推論において非常に有望である。
一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。
本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
論文 参考訳（メタデータ） (2025-05-19T17:59:31Z) - RbFT: Robust Fine-tuning for Retrieval-Augmented Generation against Retrieval Defects [12.5122702720856]
本稿では,検索欠陥に対する大規模言語モデルのレジリエンスを高めるために,Robust Fine-Tuning (RbFT)を提案する。
実験の結果,RbFTは多様な検索条件におけるRAGシステムのロバスト性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2025-01-30T14:15:09Z) - Reward-Robust RLHF in LLMs [25.31456438114974]
大規模言語モデル(LLM)は、より高度なインテリジェンスへと進化を続けている。
報酬モデルに基づく(RMに基づく)アライメント手法への依存は、大きな課題をもたらす。
本稿では,これらの課題に対処することを目的とした報酬損耗型RLHFフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-18T02:35:41Z) - Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。
提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
論文 参考訳（メタデータ） (2024-07-01T17:28:59Z) - Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-02-28T08:43:18Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Provably Efficient Iterated CVaR Reinforcement Learning with Function
Approximation and Human Feedback [57.6775169085215]
リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。
本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。
本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
論文 参考訳（メタデータ） (2023-07-06T08:14:54Z) - Robust Reinforcement Learning in Continuous Control Tasks with
Uncertainty Set Regularization [17.322284328945194]
強化学習(Reinforcement Learning, RL)は、環境摂動下での一般化と堅牢性を欠いていると認識されている。
我々は $textbfU$ncertainty $textbfS$et $textbfR$egularizer (USR) という新しい正規化器を提案する。
論文 参考訳（メタデータ） (2022-07-05T12:56:08Z) - Robust Reinforcement Learning using Adversarial Populations [118.73193330231163]
強化学習(Reinforcement Learning, RL)は、コントローラ設計に有効なツールであるが、堅牢性の問題に対処できる。
一つの逆数を使うことは、逆数の標準的なパラメトリゼーションの下での動的変動に一貫して堅牢性をもたらすわけではないことを示す。
本稿では,ロバスト RL の定式化に対する人口ベース増進法を提案する。
論文 参考訳（メタデータ） (2020-08-04T20:57:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。