論文の概要: Physics-inspired Energy Transition Neural Network for Sequence Learning

• arxiv url: http://arxiv.org/abs/2505.03281v1
• Date: Tue, 06 May 2025 08:07:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.249339
• Title: Physics-inspired Energy Transition Neural Network for Sequence Learning
• Title（参考訳）: 物理にヒントを得たシーケンス学習のためのエネルギー遷移ニューラルネットワーク
• Authors: Zhou Wu, Junyi An, Baile Xu, Furao Shen, Jian Zhao,
• Abstract要約: 本研究では、純粋なRNNの能力について検討し、その長期学習メカニズムを再評価する。 時間とともにエネルギーの変化を追跡する物理エネルギー遷移モデルにインスパイアされた我々は、Physics-inspired Energy transition Neural Network (PETNN)と呼ばれる効果的なリカレント構造を提案する。 本研究では,現在Transformerが支配しているフィールドにおいて,効率的なリカレントニューラルネットワーク開発の可能性を明らかにする。
• 参考スコア（独自算出の注目度）: 14.111325019623596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the superior performance of Transformers has made them a more robust and scalable solution for sequence modeling than traditional recurrent neural networks (RNNs). However, the effectiveness of Transformer in capturing long-term dependencies is primarily attributed to their comprehensive pair-modeling process rather than inherent inductive biases toward sequence semantics. In this study, we explore the capabilities of pure RNNs and reassess their long-term learning mechanisms. Inspired by the physics energy transition models that track energy changes over time, we propose a effective recurrent structure called the``Physics-inspired Energy Transition Neural Network" (PETNN). We demonstrate that PETNN's memory mechanism effectively stores information over long-term dependencies. Experimental results indicate that PETNN outperforms transformer-based methods across various sequence tasks. Furthermore, owing to its recurrent nature, PETNN exhibits significantly lower complexity. Our study presents an optimal foundational recurrent architecture and highlights the potential for developing effective recurrent neural networks in fields currently dominated by Transformer.
• Abstract（参考訳）: 近年、Transformersの優れたパフォーマンスにより、従来のリカレントニューラルネットワーク(RNN)よりも堅牢でスケーラブルなシーケンスモデリングソリューションが実現されている。 しかし、Transformerの長期的依存を捉える効果は主に、シーケンスセマンティクスに固有の帰納的バイアスではなく、包括的なペアモデリングプロセスに起因している。 本研究では、純粋なRNNの能力について検討し、その長期学習メカニズムを再評価する。 時間とともにエネルギーの変化を追跡する物理エネルギー遷移モデルに着想を得て, PETNN (Physics-inspired Energy transition Neural Network) と呼ばれる効果的な再帰構造を提案する。 PETNNのメモリ機構は,長期的依存による情報の保存を効果的に行うことを実証する。 実験結果から,PETNNは様々なシーケンスタスクにおいてトランスフォーマーベースの手法より優れていたことが示唆された。 さらに、PETNNはその反復的な性質のため、複雑さが著しく低下する。 本研究では,現在Transformerが支配しているフィールドにおいて,効率的なリカレントニューラルネットワーク開発の可能性を明らかにする。

関連論文リスト

• Long-term excitation energy transfer predicted by a modified convolutional neural networks in the FMO complexes [0.49157446832511503]
  本稿では,Fenna-Matthews-Olson錯体における100ピコ秒(ps)励起エネルギー伝達(EET)を予測するために,新しい冗長時間関数を組み込んだ効率的なCNN手法を提案する。 本手法は,最適化を単純化し,学習効率を向上し,量子散逸ダイナミクスの予測におけるアプローチの正確性,堅牢性,効率性を実証する。
  論文  参考訳（メタデータ） (2025-03-21T12:40:39Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Volume-Preserving Transformers for Learning Time Series Data with Structure [0.0]
  我々はトランスフォーマーにインスパイアされたニューラルネットワークを開発し、それを使って力学系を学習する。 我々は,アテンション層の活性化関数を構造保存特性を持つ変圧器に置き換える。 これは、ニューラルネットワークを剛体軌道の学習に応用する際の大きな利点である。
  論文  参考訳（メタデータ） (2023-12-18T13:09:55Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。