Fugu-MT 論文翻訳(概要): Thinking While Listening: Fast-Slow Recurrence for Long-Horizon Sequential Modeling

論文の概要: Thinking While Listening: Fast-Slow Recurrence for Long-Horizon Sequential Modeling

arxiv url: http://arxiv.org/abs/2604.01577v1
Date: Thu, 02 Apr 2026 03:45:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-03 14:21:10.212542
Title: Thinking While Listening: Fast-Slow Recurrence for Long-Horizon Sequential Modeling
Title（参考訳）: 聴きながら考える:長軸列モデリングのための高速スローリカレンス
Authors: Shota Takashiro, Masanori Koyama, Takeru Miyato, Yusuke Iwasawa, Yutaka Matsuo, Kohei Hayashi,
Abstract要約: 我々は最近の潜時リカレントモデリングを逐次入力ストリームに拡張する。高速かつ反復的な潜伏更新を自己組織化能力でインターリーブすることにより,本手法は入力とともに進化する安定した内部構造の学習を容易にする。
参考スコア（独自算出の注目度）: 39.56521605534737
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We extend the recent latent recurrent modeling to sequential input streams. By interleaving fast, recurrent latent updates with self-organizational ability between slow observation updates, our method facilitates the learning of stable internal structures that evolve alongside the input. This mechanism allows the model to maintain coherent and clustered representations over long horizons, improving out-of-distribution generalization in reinforcement learning and algorithmic tasks compared to sequential baselines such as LSTM, state space models, and Transformer variants.
Abstract（参考訳）: 我々は最近の潜時リカレントモデリングを逐次入力ストリームに拡張する。遅い観測更新の間に自己組織能力を持つ高速で反復的な潜伏更新を行うことにより,本手法は入力とともに進化する安定した内部構造を学習しやすくする。このメカニズムにより、モデルは長い水平線上でコヒーレントかつクラスタ化された表現を維持でき、LSTMや状態空間モデル、トランスフォーマー変種といった逐次ベースラインと比較して、強化学習やアルゴリズムタスクにおける分布外一般化を改善することができる。

関連論文リスト

Towards Infinitely Long Neural Simulations: Self-Refining Neural Surrogate Models for Dynamical Systems [30.037248637148693]
自己精製型ニューラルサロゲートモデル(SNS)は、スタンドアロンモデルまたは既存のニューラルサロゲートの補完モデルとして実装することができる。
論文参考訳（メタデータ） (2026-03-18T14:14:40Z)
Towards Efficient and Stable Ocean State Forecasting: A Continuous-Time Koopman Approach [17.986879367736762]
連続時間クープマンオートエンコーダ (CT-KAE) は, 長期海洋状態予測のための軽量サロゲートモデルである。 CT-KAEは、自己回帰トランスフォーマーベースラインとは対照的に、境界誤差成長と安定した大規模統計を示す。このモデルでは,数値解法よりも高速な推定が可能である。
論文参考訳（メタデータ） (2026-03-05T09:39:44Z)
Continual Learning in Vision-Language Models via Aligned Model Merging [84.47520899851557]
塑性を保ちながら安定性を維持するために,モデルマージに基づく新しい視点を提案する。マージプロセスの有効性を最大化するために,従来のものと一致した重みの学習を促進するシンプルなメカニズムを提案する。
論文参考訳（メタデータ） (2025-05-30T20:52:21Z)
Generative Models for Long Time Series: Approximately Equivariant Recurrent Network Structures for an Adjusted Training Scheme [4.327763441385371]
本稿では,連続層を有する変分オートエンコーダ(VAE)に基づく時系列データに対する簡易かつ効果的な生成モデルを提案する。本手法では,シーケンス長を漸進的に向上させる適応型トレーニング手法を提案する。リカレントアーキテクチャを利用することで、モデルはシーケンス長に関係なく定数数のパラメータを保持する。
論文参考訳（メタデータ） (2025-05-08T07:52:37Z)
EDELINE: Enhancing Memory in Diffusion-based World Models via Linear-Time Sequence Modeling [8.250616459360684]
EDELINEは、状態空間モデルと拡散モデルを統合する統一世界モデルアーキテクチャである。我々のアプローチは、視覚的に困難なAtari 100kタスク、メモリ要求ベンチマーク、3DファーストパーソンのViZDoom環境において、既存のベースラインよりも優れています。
論文参考訳（メタデータ） (2025-02-01T15:49:59Z)
Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文参考訳（メタデータ） (2025-01-16T13:17:24Z)
State Soup: In-Context Skill Learning, Retrieval and Mixing [22.485700977542127]
新しいタイプのゲート線形リカレントニューラルネットワークは、様々なシーケンスモデリング問題に対して最先端の性能に達した。ここでは、パラメータによるモデルマージの成功に触発された、ステートフルシーケンスモデルの別の利点について検討する。微調整学習と文脈内学習の並列性に基づいて、内部状態を記憶、検索、線形結合が可能なタスクベクトルとして扱うことができるかどうかを検討する。
論文参考訳（メタデータ） (2024-06-12T17:06:07Z)
Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [55.596897987498174]
本稿では,重み付き時間遅延フィードバック機構を備えたゲートリカレントユニット(GRU)を導入し,時系列データの長期依存性をモデル化する手法を提案する。提案したモデルである $tau$-GRU は、繰り返し単位の連続時間定式化の離散版であり、力学は遅延微分方程式(DDE)によって制御される。
論文参考訳（メタデータ） (2022-12-01T02:26:34Z)
Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文参考訳（メタデータ） (2021-10-26T17:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。