論文の概要: Flow Equivariant Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2507.14793v1
• Date: Sun, 20 Jul 2025 02:52:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.057004
• Title: Flow Equivariant Recurrent Neural Networks
• Title（参考訳）: 流れ同変リカレントニューラルネットワーク
• Authors: T. Anderson Keller,
• Abstract要約: 機械学習では、データの対称性を尊重するニューラルネットワークアーキテクチャを同変と呼ぶ。 我々は同変ネットワーク理論をこの流れの体系に拡張し、時間とともに自然変換を捉える。 これらのモデルは、トレーニング速度、長さの一般化、速度の一般化において、非同変モデルよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.900810893770134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data arrives at our senses as a continuous stream, smoothly transforming from one instant to the next. These smooth transformations can be viewed as continuous symmetries of the environment that we inhabit, defining equivalence relations between stimuli over time. In machine learning, neural network architectures that respect symmetries of their data are called equivariant and have provable benefits in terms of generalization ability and sample efficiency. To date, however, equivariance has been considered only for static transformations and feed-forward networks, limiting its applicability to sequence models, such as recurrent neural networks (RNNs), and corresponding time-parameterized sequence transformations. In this work, we extend equivariant network theory to this regime of `flows' -- one-parameter Lie subgroups capturing natural transformations over time, such as visual motion. We begin by showing that standard RNNs are generally not flow equivariant: their hidden states fail to transform in a geometrically structured manner for moving stimuli. We then show how flow equivariance can be introduced, and demonstrate that these models significantly outperform their non-equivariant counterparts in terms of training speed, length generalization, and velocity generalization, on both next step prediction and sequence classification. We present this work as a first step towards building sequence models that respect the time-parameterized symmetries which govern the world around us.
• Abstract（参考訳）: データは連続的なストリームとして私たちの感覚に届き、ひとつの瞬間から次の瞬間にスムーズに変換されます。 これらの滑らかな変換は、私たちが居住する環境の連続した対称性と見なすことができ、時間とともに刺激の同値関係を定義することができる。 機械学習では、データの対称性を尊重するニューラルネットワークアーキテクチャは同変と呼ばれ、一般化能力とサンプル効率の点で証明可能な利点がある。 しかし、現在まで、等価性は静的変換やフィードフォワードネットワークにのみ考慮されており、リカレントニューラルネットワーク(RNN)や対応する時間パラメータ化シーケンス変換といったシーケンスモデルの適用性に制限されている。 本研究では、同変ネットワーク理論を、視覚運動のような時間とともに自然な変換をキャプチャする1パラメータリー部分群である「フロー」のこの状態に拡張する。 まず、標準のRNNは一般に流動同変ではないことを示し、隠れた状態は、幾何学的に構造化された方法で運動刺激の変換に失敗する。 次に,これらのモデルが,次のステップの予測とシーケンス分類の両方において,トレーニング速度,長さの一般化,速度の一般化において,非同変モデルよりも著しく優れていることを示す。 この研究は、我々の周りの世界を統治する時間パラメータ化された対称性を尊重するシーケンスモデルを構築するための第一歩として提示される。

関連論文リスト

• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Improving Equivariant Networks with Probabilistic Symmetry Breaking [9.164167226137664]
  同変ネットワークは既知の対称性をニューラルネットワークにエンコードし、しばしば一般化を強化する。 これは(1)自己対称性が共通な領域での予測タスク、(2)高対称性の潜在空間から再構成するために対称性を破らなければならない生成モデルの両方に重要な問題を引き起こす。 このような分布を表すのに十分な条件を確立する新しい理論結果を示す。
  論文  参考訳（メタデータ） (2025-03-27T21:04:49Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• EqNIO: Subequivariant Neural Inertial Odometry [33.96552018734359]
  重力ベクトルの周りで回転すると、IMUデータは等変的に変形し、重力に平行な任意の平面に対して反射することを示す。 そして、IMUデータをこのフレームにマッピングし、既製の慣性オドメトリーネットワークで直接使用できる不変な正準化を実現する。
  論文  参考訳（メタデータ） (2024-08-12T17:42:46Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Unnatural Algorithms in Machine Learning [0.0]
  この特性を持つ最適化アルゴリズムは、自然勾配降下の離散近似とみなすことができる。 本稿では、この自然性をより一般的に導入する簡単な方法を紹介し、多くの一般的な機械学習トレーニングアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2023-12-07T22:43:37Z)
• Deformation Robust Roto-Scale-Translation Equivariant CNNs [10.44236628142169]
  グループ同変畳み込みニューラルネットワーク(G-CNN)は,固有対称性を持つ一般化性能を著しく向上させる。 G-CNNの一般的な理論と実践的実装は、回転またはスケーリング変換の下での平面画像に対して研究されている。
  論文  参考訳（メタデータ） (2021-11-22T03:58:24Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Physical invariance in neural networks for subgrid-scale scalar flux modeling [5.333802479607541]
  物理インフォームドニューラルネットワーク(NN)を用いた3次元乱流非圧縮性流れのサブグリッドスケールスカラーフラックスをモデル化するための新しい戦略を提案する。 提案した変換不変NNモデルは、純粋にデータ駆動モデルとパラメトリックなサブグリッドスケールモデルの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-09T16:09:54Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。