論文の概要: Invertible Memory Flow Networks

• arxiv url: http://arxiv.org/abs/2602.00535v1
• Date: Sat, 31 Jan 2026 06:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.243157
• Title: Invertible Memory Flow Networks
• Title（参考訳）: インバータブルメモリフローネットワーク
• Authors: Liyu Zerihun, Alexandr Plashchinsky,
• Abstract要約: Invertible Memory Flow Networks (IMFN) は長いシーケンス圧縮を抽出できる。 この問題を"sweeper"モジュールのバイナリツリーを使ってペアワイズマージに分解する。 オンライン推論では,O(1)シーケンシャルステップを達成するため,一定コストの反復学習生に蒸留を行った。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long sequence neural memory remains a challenging problem. RNNs and their variants suffer from vanishing gradients, and Transformers suffer from quadratic scaling. Furthermore, compressing long sequences into a finite fixed representation remains an intractable problem due to the difficult optimization landscape. Invertible Memory Flow Networks (IMFN) make long sequence compression tractable through factorization: instead of learning end-to-end compression, we decompose the problem into pairwise merges using a binary tree of "sweeper" modules. Rather than learning to compress long sequences, each sweeper learns a much simpler 2-to-1 compression task, achieving O(log N) depth with sublinear error accumulation in sequence length. For online inference, we distilled into a constant-cost recurrent student achieving O(1) sequential steps. Empirical results validate IMFN on long MNIST sequences and UCF-101 videos, demonstrating compression of high-dimensional data over long sequences.
• Abstract（参考訳）: 長いシーケンスのニューラルメモリは依然として困難な問題である。 RNNとその変種は消滅する勾配に悩まされ、トランスフォーマーは二次的なスケーリングに悩まされる。 さらに、有限な固定表現に長い列を圧縮することは、難しい最適化環境のため、難解な問題である。 Invertible Memory Flow Networks (IMFN) は、因数分解によって長いシーケンス圧縮を抽出する: エンドツーエンドの圧縮を学習する代わりに、問題を"sweeper"モジュールのバイナリツリーを使ってペアワイズマージに分解する。 長い列を圧縮することを学ぶのではなく、各スイーパーはより単純な2対1の圧縮タスクを学び、列長のサブ線形誤差の蓄積でO(log N)の深さを達成する。 オンライン推論では,O(1)シーケンシャルステップを達成するため,一定コストの反復学習生に蒸留を行った。 実験により、IMFNは長いMNISTシーケンスとUCF-101ビデオで検証され、長いシーケンス上での高次元データの圧縮を実証した。

関連論文リスト

• mGRADE: Minimal Recurrent Gating Meets Delay Convolutions for Lightweight Sequence Modeling [0.5236468296934584]
  mGRADEは、時間的1D-畳み込みと学習可能な間隔を統合したハイブリッドメモリシステムである。 我々は,mGRADEがマルチスケールの時間的特徴を効果的に分離し,保存することを示した。 これは、エッジにおけるメモリ制約付きマルチスケールの時間処理の効率的なソリューションとしてのmGRADEの約束を強調している。
  論文  参考訳（メタデータ） (2025-07-02T15:44:35Z)
• Lattice: Learning to Efficiently Compress the Memory [13.765057453744427]
  本稿では,キャッシュを一定数のメモリスロットに効率よく圧縮する新しいリカレントニューラルネットワーク(RNN)機構であるLatticeを紹介する。 我々は、この圧縮をオンライン最適化問題として定式化し、単一の勾配降下ステップに基づいて動的メモリ更新ルールを導出する。 実験結果から,Latticeはコンテキスト長の異なるすべてのベースラインと比較して,最も難易度が高いことがわかった。
  論文  参考訳（メタデータ） (2025-04-08T03:48:43Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Sequence Modeling with Multiresolution Convolutional Memory [27.218134279968062]
  我々は、MultiresLayerと呼ばれるシーケンスモデリングのための新しいビルディングブロックを構築します。 我々のモデルの主要な構成要素はマルチレゾリューション・コンボリューションであり、入力シーケンスにおけるマルチスケールトレンドをキャプチャする。 本モデルでは,多数のシーケンス分類と自己回帰密度推定タスクについて,最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-05-02T17:50:54Z)
• Latent Discretization for Continuous-time Sequence Compression [21.062288207034968]
  本研究では、データシーケンスを、基礎となる連続時間プロセスからの観測として扱う。 本手法は,識別の仕方を学習することで,ビットレートの低減を自動で実現できることを示す。
  論文  参考訳（メタデータ） (2022-12-28T01:15:27Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。