論文の概要: Streaming Recurrent Memory
- arxiv url: http://arxiv.org/abs/2610.34833v1
- Date: Mon, 26 Oct 2026 04:29:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.744082
- Title: Streaming Recurrent Memory
- Title(参考訳): リカレントメモリのストリーミング
- Abstract要約: ストリーミング学習制約下でのリカレントメモリについて検討する。
本稿ではストリーミング設定用に設計されたリカレントメモリであるStreaming Recurrent Memory (SRM)を紹介する。
BPTTは、制御されたメモリタスクとストリーミングアプリケーション全体にわたって、1ステップのBPTTで効果的に学習する。
- 参考スコア(独自算出の注目度): 11.45636753067888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural intelligence learns from a continuous stream of sensorimotor experience: data can arrive at high bandwidth, and behavior adapts to feedback as soon as it arrives, even when it is delayed. In contrast, most modern deep learning systems rely on stored datasets, replay buffers, and retained contexts through which credit is later assigned. At high data rates, storing and revisiting past experience can be impractical under tight memory and computational constraints. This paper studies recurrent memory under a streaming learning constraint: the learner learns from experience as soon as it arrives without storing raw experience. We ask whether a streaming learner can maintain a state that remains useful for future prediction and control from delayed feedback. We introduce Streaming Recurrent Memory (SRM), a recurrent memory designed for the streaming setting which preserves information that may matter later while remaining trainable with one-step backpropagation through time (BPTT). SRM provides a streaming-compatible recurrence that is designed to recall past information by content or time, track elapsed steps, and compose transformations whose outcome depends on the order in which inputs are observed. Across controlled memory tasks and streaming applications, SRM learns effectively with one-step BPTT, outperforming recurrent baselines in associative recall and online language modeling while achieving near-perfect success in associative T-Maze with delayed rewards. These results suggest that fixing how inputs are stored in the recurrent state, while learning how that state is read out, enables effective streaming learning without long-range backpropagation.
- Abstract(参考訳): データは高帯域に到達し、動作は遅延しても、到着した直後にフィードバックに適応する。
対照的に、現代のディープラーニングシステムのほとんどは、保存されたデータセット、バッファの再生、そして後からクレジットが割り当てられる保持されたコンテキストに依存している。
高いデータレートでは、過去の経験の保存と再考は、厳密なメモリと計算上の制約の下では現実的ではない。
本稿では,ストリーミング学習制約下でのリカレントメモリについて考察する。学習者は生の体験を保存せずに到着した直後から経験から学習する。
ストリーミング学習者が将来予測や遅延フィードバックの制御に有用な状態を維持できるかどうかを問う。
本稿では,ストリーミング設定のためのリカレントメモリであるStreaming Recurrent Memory (SRM)を紹介する。
SRMは、過去の情報をコンテンツや時間でリコールし、経過したステップを追跡し、結果が入力が観測される順序に依存する変換を構成するように設計されたストリーミング互換のリカレンスを提供する。
制御されたメモリタスクやストリーミングアプリケーション全体にわたって、SRMは1ステップのBPTTで効果的に学習し、連想的リコールやオンライン言語モデリングにおける反復的ベースラインよりも優れ、遅延報酬による連想的T-Mazeのほぼ完全な成功を実現している。
これらの結果は,入力の繰り返し状態の保存方法の修正と,その状態の読み出し方法の学習が,長距離バックプロパゲーションを伴わない効果的なストリーミング学習を可能にすることを示唆している。
関連論文リスト
- Recurrent Harness for Agentic Continual Learning [53.480527067024404]
ReHarnessは、厳格なオンラインストリーミングプロトコルの下でのエージェント的連続学習のための繰り返しフレームワークである。
私たちは、ストリームの現在のインスタンスをよりよく知るために、ハーネス状態において、どのような情報が異なる方法でキャプチャされたのかを尋ねます。
本研究では,ReHarnessがソース・グラウンドで意味のあるリビジョンを生成し,分散シフト下での過度に一般化あるいは時代遅れな経験を補正し,連続学習時の安定性と可塑性を改善したことを示す。
論文 参考訳(メタデータ) (2026-10-08T19:44:43Z) - Rethinking Tabular Foundation Models On Data Streams [12.426277465279584]
タブラル基礎モデル(TFM)は、コンテキスト内学習を通じて確立された機械学習モデルより優れている。
本稿では,データストリーム上でのTFMの体系的研究,メモリ管理,計算コスト,コンセプトドリフトや遅延ラベルといったストリーム固有の課題について述べる。
TFMは最も高い予測性能を達成でき、最新の例を単に保持するだけで、既存のメモリ管理技術と同じくらい効果的であることがわかった。
論文 参考訳(メタデータ) (2026-10-04T16:20:43Z) - FlashBack: Knowing When to Remember in Streaming Vision-Language Models [14.319054809222314]
FlashBackは、ストリーミングビジョン言語モデルで選択可能なマルチレベルメモリのためのトレーニング不要のフレームワークである。
我々は、StreamingVLMとMage-VL-4BでFlashBackをインスタンス化し、OVO-BenchとStreamingBenchで評価する。
論文 参考訳(メタデータ) (2026-10-01T07:05:08Z) - Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。
LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2026-09-03T17:28:14Z) - Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。
最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
論文 参考訳(メタデータ) (2026-05-14T20:15:22Z) - Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。
10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
論文 参考訳(メタデータ) (2025-11-25T21:08:07Z) - StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。
我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。
提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
論文 参考訳(メタデータ) (2025-08-03T18:15:42Z) - AdaER: An Adaptive Experience Replay Approach for Continual Lifelong
Learning [16.457330925212606]
持続的生涯学習の課題に対処するために,適応的経験リプレイ(AdaER)を提案する。
AdaERはメモリリプレイとメモリ更新という2つのステージで構成されている。
結果: AdaERは、既存の持続的生涯学習ベースラインを上回っている。
論文 参考訳(メタデータ) (2023-08-07T01:25:45Z) - Summarizing Stream Data for Memory-Constrained Online Continual Learning [17.40956484727636]
本稿では,実画像のトレーニング特性を蒸留することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約することを提案する。
計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。
論文 参考訳(メタデータ) (2023-05-26T05:31:51Z) - Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。
メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。
しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。
本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
論文 参考訳(メタデータ) (2021-06-02T11:58:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。