論文の概要: Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.00691v2
• Date: Wed, 04 Jun 2025 15:54:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.509409
• Title: Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning
• Title（参考訳）: 感覚ニューロンの最適化--強化学習のための置換不変ニューラルネットワークの高速化収束のための非線形注意機構
• Authors: Junaid Muzaffar, Khubaib Ahmed, Ingo Frommholz, Zeeshan Pervez, Ahsan ul Haq,
• Abstract要約: 訓練強化学習(RL)エージェントは、しばしば重要な計算資源を必要とし、訓練時間を延長する。 私たちは、強化学習タスクのための新しいニューラルネットワークを導入した、Google BrainのSensory Neuronによって構築された基盤の上に構築しました。 本稿では,キーベクトル(K)の非線形変換をマッピング関数を用いて組み込んだ改良されたアテンション機構を提案する。
• 参考スコア（独自算出の注目度）: 2.236957801565796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training reinforcement learning (RL) agents often requires significant computational resources and extended training times. To address this, we build upon the foundation laid by Google Brain's Sensory Neuron, which introduced a novel neural architecture for reinforcement learning tasks that maintained permutation in-variance in the sensory neuron system. While the baseline model demonstrated significant performance improvements over traditional approaches, we identified opportunities to enhance the efficiency of the learning process further. We propose a modified attention mechanism incorporating a non-linear transformation of the key vectors (K) using a mapping function, resulting in a new set of key vectors (K'). This non-linear mapping enhances the representational capacity of the attention mechanism, allowing the model to encode more complex feature interactions and accelerating convergence without compromising performance. Our enhanced model demonstrates significant improvements in learning efficiency, showcasing the potential for non-linear attention mechanisms in advancing reinforcement learning algorithms.
• Abstract（参考訳）: 訓練強化学習(RL)エージェントは、しばしば重要な計算資源を必要とし、訓練時間を延長する。 これを解決するために、我々はGoogle BrainのSensory Neuronによって構築された基盤の上に構築した。これは、感覚ニューロンシステムにおける置換不変性を維持する強化学習タスクのための、新しいニューラルネットワークを導入した。 ベースラインモデルでは従来のアプローチよりも大幅な性能向上が見られたが、学習プロセスの効率をさらに向上させる機会が見つかった。 本稿では,キーベクトル(K)の非線形変換をマッピング関数を用いて組み込んだ改良されたアテンション機構を提案する。 この非線形マッピングはアテンション機構の表現能力を高め、より複雑な特徴相互作用を符号化し、性能を損なうことなく収束を加速させる。 強化されたモデルでは,学習効率が大幅に向上し,強化学習アルゴリズムにおける非線形注意機構の可能性を示す。

関連論文リスト

• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Stochastic Engrams for Efficient Continual Learning with Binarized Neural Networks [4.014396794141682]
  我々は,メタプラスティック二項化ニューラルネットワーク(mBNN)のゲーティング機構として,可塑性活性化エングラムを統合した新しいアプローチを提案する。 以上の結果から, (A) トレードオフに対する安定性の向上, (B) メモリ集中度低下, (C) 双項化アーキテクチャの性能向上が示された。
  論文  参考訳（メタデータ） (2025-03-27T12:21:00Z)
• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [57.17129753411926]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• Neural Attention: A Novel Mechanism for Enhanced Expressive Power in Transformer Models [0.0]
  本稿では,ドット積をフィードフォワードネットワークに置き換えることで,トークン間の関係を表現しやすくする手法を提案する。 この研究は、様々なアプリケーションにわたるトランスフォーマーモデルの予測能力を高める効果的な手段として、ニューラルアテンションを確立する。
  論文  参考訳（メタデータ） (2025-02-24T14:39:40Z)
• Trainable Adaptive Activation Function Structure (TAAFS) Enhances Neural Network Force Field Performance with Only Dozens of Additional Parameters [0.0]
  TAAFS(Treatable Adaptive Function Activation Structure) 非線形なアクティベーションのための数学的定式化を選択する方法を提案する。 本研究では、TAAFSを様々なニューラルネットワークモデルに統合し、精度の向上を観察する。
  論文  参考訳（メタデータ） (2024-12-19T09:06:39Z)
• Deep Learning 2.0: Artificial Neurons That Matter -- Reject Correlation, Embrace Orthogonality [0.0]
  ヤット生産型ニューラルネットワークであるニューラルマターネットワーク(NMN)を導入する。 NMNは活性化機能のない非線形パターン認識を実現する。 Yat-MLPは、単純さと有効性を組み合わせたニューラルネットワーク設計の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2024-11-12T16:52:51Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。 我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Reconstructing high-order sequence features of dynamic functional connectivity networks based on diversified covert attention patterns for Alzheimer's disease classification [22.57052592437276]
  我々はトランスフォーマーのコアモジュールである自己注意機構を導入し、多彩な注意パターンをモデル化し、これらのパターンを適用してdFCNの高次シーケンス特性を再構築する。 本研究では,局所的時間的特徴とシーケンス変化パターンをキャプチャするCRNの利点と,大域的および高次的相関特徴の学習におけるトランスフォーマーを組み合わせた,多角化注意パターンに基づくCRN手法DCA-CRNを提案する。
  論文  参考訳（メタデータ） (2022-11-19T02:13:21Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。