論文の概要: Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network

• arxiv url: http://arxiv.org/abs/2601.16446v1
• Date: Fri, 23 Jan 2026 04:53:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.542109
• Title: Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network
• Title（参考訳）: Brownian ReLU(Br-ReLU):Long-Short Term Memory (LSTM) ネットワークのための新しい活性化関数
• Authors: George Awiakye-Marfo, Elijah Agbosu, Victoria Mawuena Barns, Samuel Asante Gyamerah,
• Abstract要約: BrownianReLUは、勾配の伝播と学習安定性を高めるブラウン運動によって誘導される活性化関数である。 BrownianReLUは、Apple、GCB、S&P 500の財務時系列と、LendingClubの分類用ローンデータに基づいて評価されている。 その結果,平均正方形誤差と高いR2$値が一貫して低下し,予測精度と一般化が向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models are effective for sequential data modeling, yet commonly used activation functions such as ReLU, LeakyReLU, and PReLU often exhibit gradient instability when applied to noisy, non-stationary financial time series. This study introduces BrownianReLU, a stochastic activation function induced by Brownian motion that enhances gradient propagation and learning stability in Long Short-Term Memory (LSTM) networks. Using Monte Carlo simulation, BrownianReLU provides a smooth, adaptive response for negative inputs, mitigating the dying ReLU problem. The proposed activation is evaluated on financial time series from Apple, GCB, and the S&P 500, as well as LendingClub loan data for classification. Results show consistently lower Mean Squared Error and higher $R^2$ values, indicating improved predictive accuracy and generalization. Although ROC-AUC metric is limited in classification tasks, activation choice significantly affects the trade-off between accuracy and sensitivity, with Brownian ReLU and the selected activation functions yielding practically meaningful performance.
• Abstract（参考訳）: ディープラーニングモデルはシーケンシャルなデータモデリングに有効であるが、ReLU、LeakyReLU、PRELUのような一般的なアクティベーション関数は、ノイズの多い非定常財務時系列に適用した場合に勾配不安定を示すことが多い。 本研究は,Long Short-Term Memory (LSTM) ネットワークにおける勾配伝播と学習安定性を向上させるブラウン運動によって引き起こされる確率的活性化関数であるBrownianReLUを紹介する。 モンテカルロシミュレーションを用いて、BrownianReLUは負の入力に対してスムーズで適応的な応答を提供し、死するReLU問題を緩和する。 提案されたアクティベーションは、Apple、GCB、S&P 500の財務時系列と、LendingClubの分類用ローンデータに基づいて評価される。 その結果,平均正方形誤差と高いR^2$値が一貫して低下し,予測精度と一般化が向上した。 ROC-AUCメートル法は分類タスクにおいて制限されているが、アクティベーション選択は、Bownian ReLUと選択されたアクティベーション関数による精度と感度のトレードオフに大きく影響する。

関連論文リスト

• Stochastic activations [53.40901433014535]
  この戦略は、大規模言語モデルのフィードフォワード層における複数の非線形関数をランダムに選択する。 我々は,(1)事前学習中にアクティベーションを使用し,RELUを用いてモデルを微調整する。 この戦略は、温度スケーリングと組み合わせた最良の決定論的非線形性(SILU)よりもわずかに劣る。
  論文  参考訳（メタデータ） (2025-09-26T13:53:56Z)
• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [64.15238674475619]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• Stabilizing Extreme Q-learning by Maclaurin Expansion [51.041889588036895]
  XQL(Extreme Q-learning)は、ベルマン誤差がガムベル分布に従うという仮定に基づいて損失関数を用いる。 オフラインとオンラインの強化学習環境では、強力なパフォーマンスを示している。 安定度を高めるため,Maclaurin Expanded Extreme Q-learningを提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:43:17Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models [35.77063662562747]
  数十億のパラメータを持つ大規模言語モデル(LLM)は、AIアプリケーションを大幅に変革した。 推論中に要求される計算は、リソースに制約のあるデバイスに展開する上で大きな課題を提起している。 本稿では,ReLUアクティベーション関数の使用がコンバージェンスや性能に悪影響を及ぼす一方で,計算量や重量移動を著しく削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-06T20:01:33Z)
• TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks [1.3477333339913569]
  TaLUはTanhとReLUを組み合わせた活性化機能である。 MNIST と CIFAR-10 の深層学習モデルについて検討した。
  論文  参考訳（メタデータ） (2023-05-08T01:13:59Z)
• Data-aware customization of activation functions reduces neural network error [0.35172332086962865]
  本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。 既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
  論文  参考訳（メタデータ） (2023-01-16T23:38:37Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Soft-Root-Sign Activation Function [21.716884634290516]
  SRS(Soft-Root-Sign)は滑らかで、非単調で有界である。 ReLUとは対照的に、SRSは独立したトレーニング可能なパラメータのペアによって出力を適応的に調整することができる。 我々のSRSはReLUや他の最先端の非線形性と一致または超えます。
  論文  参考訳（メタデータ） (2020-03-01T18:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。