論文の概要: Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.00691v4
• Date: Mon, 23 Jun 2025 08:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 12:48:19.089991
• Title: Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning
• Title（参考訳）: 感覚ニューロンの最適化--強化学習のための置換不変ニューラルネットワークの高速化収束のための非線形注意機構
• Authors: Junaid Muzaffar, Khubaib Ahmed, Ingo Frommholz, Zeeshan Pervez, Ahsan ul Haq,
• Abstract要約: 我々は、置換不変の知覚処理を備えたニューラルアーキテクチャを導入した以前の作業に基づいて構築した。 鍵ベクトルに非線形変換を適用する改良されたアテンション機構を提案する。 本モデルは,ベースラインと同等の性能を維持しつつ,はるかに高速な収束とトレーニング効率の向上を実現している。
• 参考スコア（独自算出の注目度）: 2.236957801565796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training reinforcement learning (RL) agents often requires significant computational resources and prolonged training durations. To address this challenge, we build upon prior work that introduced a neural architecture with permutation-invariant sensory processing. We propose a modified attention mechanism that applies a non-linear transformation to the key vectors (K), producing enriched representations (K') through a custom mapping function. This Nonlinear Attention (NLA) mechanism enhances the representational capacity of the attention layer, enabling the agent to learn more expressive feature interactions. As a result, our model achieves significantly faster convergence and improved training efficiency, while maintaining performance on par with the baseline. These results highlight the potential of nonlinear attention mechanisms to accelerate reinforcement learning without sacrificing effectiveness.
• Abstract（参考訳）: 訓練強化学習(RL)エージェントは、しばしば重要な計算資源と長期間の訓練期間を必要とする。 この課題に対処するために、置換不変の知覚処理を備えたニューラルアーキテクチャを導入した先行作業を構築した。 本稿では、キーベクトル(K)に非線形変換を適用し、カスタムマッピング関数を通じてリッチ表現(K')を生成する改良されたアテンション機構を提案する。 この非線形注意(NLA)機構は、注目層の表現能力を高め、エージェントがより表現力のある特徴相互作用を学習できるようにする。 その結果,ベースラインに匹敵する性能を維持しつつ,より高速な収束と訓練効率の向上を実現した。 これらの結果は,効果を犠牲にすることなく強化学習を促進する非線形注意機構の可能性を強調した。

関連論文リスト

• Stochastic Engrams for Efficient Continual Learning with Binarized Neural Networks [4.014396794141682]
  我々は,メタプラスティック二項化ニューラルネットワーク(mBNN)のゲーティング機構として,可塑性活性化エングラムを統合した新しいアプローチを提案する。 以上の結果から, (A) トレードオフに対する安定性の向上, (B) メモリ集中度低下, (C) 双項化アーキテクチャの性能向上が示された。
  論文  参考訳（メタデータ） (2025-03-27T12:21:00Z)
• Trainable Adaptive Activation Function Structure (TAAFS) Enhances Neural Network Force Field Performance with Only Dozens of Additional Parameters [0.0]
  TAAFS(Treatable Adaptive Function Activation Structure) 非線形なアクティベーションのための数学的定式化を選択する方法を提案する。 本研究では、TAAFSを様々なニューラルネットワークモデルに統合し、精度の向上を観察する。
  論文  参考訳（メタデータ） (2024-12-19T09:06:39Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。 我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Reconstructing high-order sequence features of dynamic functional connectivity networks based on diversified covert attention patterns for Alzheimer's disease classification [22.57052592437276]
  我々はトランスフォーマーのコアモジュールである自己注意機構を導入し、多彩な注意パターンをモデル化し、これらのパターンを適用してdFCNの高次シーケンス特性を再構築する。 本研究では,局所的時間的特徴とシーケンス変化パターンをキャプチャするCRNの利点と,大域的および高次的相関特徴の学習におけるトランスフォーマーを組み合わせた,多角化注意パターンに基づくCRN手法DCA-CRNを提案する。
  論文  参考訳（メタデータ） (2022-11-19T02:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。