論文の概要: Revisiting Bi-Linear State Transitions in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2505.21749v1
• Date: Tue, 27 May 2025 20:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.284954
• Title: Revisiting Bi-Linear State Transitions in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおける二線状態遷移の再検討
• Authors: M. Reza Ebrahimi, Roland Memisevic,
• Abstract要約: 両線形状態更新は、状態追跡タスクにおける隠れ状態の進化を表す自然な帰納バイアスとなることを示す。 また,両線形状態更新は,複雑性が増大する状態追跡タスクに対応する自然な階層を形成し,Mambaなどの線形リカレントネットワークがその階層の最低複雑度中心にあることを示す。
• 参考スコア（独自算出の注目度）: 0.3218642352128729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The role of hidden units in recurrent neural networks is typically seen as modeling memory, with research focusing on enhancing information retention through gating mechanisms. A less explored perspective views hidden units as active participants in the computation performed by the network, rather than passive memory stores. In this work, we revisit bi-linear operations, which involve multiplicative interactions between hidden units and input embeddings. We demonstrate theoretically and empirically that they constitute a natural inductive bias for representing the evolution of hidden states in state tracking tasks. These are the simplest type of task that require hidden units to actively contribute to the behavior of the network. We also show that bi-linear state updates form a natural hierarchy corresponding to state tracking tasks of increasing complexity, with popular linear recurrent networks such as Mamba residing at the lowest-complexity center of that hierarchy.
• Abstract（参考訳）: リカレントニューラルネットワークにおける隠れたユニットの役割は、一般的にモデリングメモリと見なされ、ゲーティング機構による情報保持の強化に焦点が当てられている。 パッシブメモリストアではなく、ネットワークによって実行される計算に、隠れたユニットがアクティブな参加者である、という、あまり見当たらない視点の見方がある。 本研究では,隠れ単位と入力埋め込みとの乗法的相互作用を含む線形演算を再検討する。 状態追跡タスクにおける隠れ状態の進化を表す自然な帰納バイアスを構成することを理論的・実証的に実証する。 これらは、ネットワークの振る舞いに積極的に貢献するために隠れたユニットを必要とする最も単純なタイプのタスクである。 また,両線形状態更新は,複雑性が増大する状態追跡タスクに対応する自然な階層を形成し,Mambaなどの線形リカレントネットワークがその階層の最低複雑度中心にあることを示す。

関連論文リスト

• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
  本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。 非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。 この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-26T07:10:47Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition [0.0]
  連想記憶は、大々的に繰り返される新皮質ネットワークによって実行される計算の有力候補である。 我々は,非教師付きヘビアン・ベイズ学習規則を用いて分散表現を学習するフィードフォワードネットワークに,繰り返しアトラクタネットワークを結合する。 本研究では, フィードフォワード駆動型内部(隠れた)表現のトレーニングにおいて, 繰り返しアトラクタコンポーネントが連想メモリを実装していることを示す。
  論文  参考訳（メタデータ） (2022-06-30T06:03:11Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Internal representation dynamics and geometry in recurrent neural networks [10.016265742591674]
  本稿では,バニラRNNがネットワークのダイナミクスを解析することにより,単純な分類タスクを実現する方法を示す。 初期の内部表現はデータの実際のラベルから解放されるが、この情報は出力層に直接アクセスできない。
  論文  参考訳（メタデータ） (2020-01-09T23:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。