Fugu-MT 論文翻訳(概要): Linear RNNs for autoregressive generation of long music samples

論文の概要: Linear RNNs for autoregressive generation of long music samples

arxiv url: http://arxiv.org/abs/2510.02401v1
Date: Wed, 01 Oct 2025 17:26:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-06 16:35:52.083599
Title: Linear RNNs for autoregressive generation of long music samples
Title（参考訳）: 長い楽曲サンプルの自動回帰生成のための線形RNN
Authors: Konrad Szewczyk, Daniel Gallo Fernández, James Townsend,
Abstract要約: 我々は,小規模データセット上での美術ログや知覚的メトリクスの状態を把握したモデルであるHarmonicRNNを提案する。
参考スコア（独自算出の注目度）: 2.867517731896504
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Directly learning to generate audio waveforms in an autoregressive manner is a challenging task, due to the length of the raw sequences and the existence of important structure on many different timescales. Traditional approaches based on recurrent neural networks, as well as causal convolutions and self-attention, have only had limited success on this task. However, recent work has shown that deep state space models, also referred to as linear RNNs, can be highly efficient in this context. In this work, we push the boundaries of linear RNNs applied to raw audio modeling, investigating the effects of different architectural choices and using context-parallelism to enable training on sequences up to one minute (1M tokens) in length. We present a model, HarmonicRNN, which attains state of the art log-likelihoods and perceptual metrics on small-scale datasets.
Abstract（参考訳）: 音声波形を自己回帰的に直接学習することは、生の配列の長さと多くの異なる時間スケールにおける重要な構造の存在のために難しい課題である。リカレントニューラルネットワークに基づく従来のアプローチ、因果的畳み込みと自己注意は、このタスクでわずかに成功しただけである。しかし、近年の研究により、線形RNNとも呼ばれる深部状態空間モデルは、この文脈で非常に効率的であることが示されている。本研究では、生音声モデリングに適用された線形RNNの境界を押し上げ、異なるアーキテクチャ選択の影響を調査し、コンテキスト並列性を用いて最大1分間(1Mトークン)のシーケンスのトレーニングを可能にする。我々は,大規模データセット上で,最先端のログライクな状態と知覚的メトリクスが得られるモデルであるHarmonicRNNを提案する。

関連論文リスト

MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2025-06-05T16:50:23Z)
Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion [10.867398697751742]
BLUR(Bidirectional Linear Unit for Recurrent Network)を導入し,前向きおよび後向きの線形リカレントユニット(LRU)を用いて,過去および将来の依存関係を高い計算効率で捕捉する。逐次画像と時系列データセットの実験により、BLURはトランスフォーマーや従来のRNNをはるかに上回るだけでなく、計算コストを大幅に削減することが明らかになった。
論文参考訳（メタデータ） (2025-04-11T20:42:58Z)
RotRNN: Modelling Long Sequences with Rotations [7.037239398244858]
ステートスペースモデル(SSM)やリニアリカレントユニット(LRU)のような線形リカレントニューラルネットワークは、最近、ロングシーケンスモデリングベンチマークで最先端のパフォーマンスを示している。回転行列の便利な特性を利用する線形リカレントモデルであるRotRNNを提案する。本稿では,RotRNNが頑健な正規化手順を備えたシンプルで効率的なモデルを提供し,その理論的導出に忠実な実践的実装であることを示す。
論文参考訳（メタデータ） (2024-07-09T21:37:36Z)
Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
論文参考訳（メタデータ） (2023-11-08T16:50:05Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文参考訳（メタデータ） (2023-02-20T22:25:47Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
論文参考訳（メタデータ） (2021-11-01T20:49:30Z)
Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
論文参考訳（メタデータ） (2021-07-01T13:13:24Z)
UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文参考訳（メタデータ） (2021-03-09T15:19:59Z)
Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。