論文の概要: Replay in the Silent Degrees of Freedom: Continual Learning Without an Offline Phase

• arxiv url: http://arxiv.org/abs/2609.31630v1
• Date: Wed, 09 Sep 2026 02:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 14:36:15.750093
• Title: Replay in the Silent Degrees of Freedom: Continual Learning Without an Offline Phase
• Title（参考訳）: 無秩序な自由の領域におけるリプレイ:オフラインのフェーズを伴わない継続的な学習
• Abstract要約: ローカルで生物学的に制約されたルールによってトレーニングされたネットワークが、オフラインフェーズなしで統合できるかどうかを問う。 アイソレーションルールは、k-winner-take-all dynamicsの下で現在の入力に見えない隠されたシナプスに対するリプレイ更新を限定する。 k-WTA隠された層を持つバックプロパゲーションネットワークは、回転によって向上し、その上に再び分離される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Replay-based continual learning almost always consolidates in a dedicated offline phase or by interleaving replayed samples with the input stream, whereas brains also consolidate during wakefulness through local sleep, brief use-dependent off-periods of individual circuits. We ask whether a network trained by local, biologically constrained rules can consolidate with no offline phase at all. An isolation rule confines replay updates to hidden synapses invisible to the current input under k-winner-take-all dynamics, with optimiser state advanced only inside the mask; a refractory rotation rule makes units that have just fired sit out the next competition, widening the consolidable set; a homeostatic pressure and a relative-novelty gate decide when replay bursts fire and when rotation runs. This inverts the usual direction of non-interfering continual learning: the hidden computation on the current input is held invariant (exactly on the proven channels, and for all but 0.3% of waking samples per update elsewhere) while past memories are written into the degrees of freedom the current batch leaves unused. On class-incremental split-MNIST the system reaches 91.6+-0.3% with no offline phase, at or above the best offline-night schedule on two held-out splits, tied with DER++ and above experience replay, ER-ACE, A-GEM and unmasked local replay; in a single pass it leads DER++ (91.8% against 90.1%) while the night falls to 76.9%. The advantage is largest at small buffers and gives way to the backpropagation references at large ones; on split CIFAR-10 the system leads offline rehearsal and experience replay but trails ER-ACE and DER++. Rotation carries most of the gain; isolation adds the invariance guarantee. The mechanism is not tied to the local rule: under the same schedule a backpropagation network with k-WTA hidden layers gains from rotation, and isolation is again free on top of it.
• Abstract（参考訳）: リプレイベースの連続学習は、通常、専用のオフラインフェーズや、リプレイされたサンプルを入力ストリームとインターリーブすることによって統合される。 ローカルで生物学的に制約されたルールによってトレーニングされたネットワークが、オフラインフェーズなしで統合できるかどうかを問う。 分離ルールでは、k-winner-all dynamicsの下で現在の入力に見えない隠されたシナプスのリプレイ更新を制限し、マスク内のみでオプティマイザー状態が進行する。 これは非干渉的連続学習の通常の方向を逆転させる: 現在の入力に隠された計算は不変(実際に証明されたチャネルと、他の場所で更新されるたびに起動するサンプルの0.3%を除いて)であるが、過去の記憶は自由度に書き込まれ、現在のバッチは使われていない。 クラスインクリメンタルなスプリット-MNISTでは、システムはオフラインフェーズなしで91.6+-0.3%に達し、Der++と接続した2つのセッションで最高のオフライン・ナイト・スケジュールで、経験上のリプレイ、ER-ACE、A-GEM、アンマスクローカル・リプレイ(英語版)、そしてシングルパスでDER++(91.8%対90.1%)となり、夜は76.9%となる。 CIFAR-10の分割では、システムはオフラインのリハーサルと経験的なリプレイをリードするが、ER-ACEとDER++はパスする。 回転は、ほとんどの利得をもたらす。 同じスケジュールの下で、k-WTAの隠された層を持つバックプロパゲーションネットワークは回転によって向上し、その上に再び分離される。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• ERASE: EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems [0.0]
  ブロックの出力を除去すると、下流の勾配依存性が取り除かれ、前方通過が終了すると、後方通過の準備が整う。 大規模なクリックスルーモデルでは、6つの密集したサブアーキテクチャを分離することで、トレーニングのスループットを最大9.51%向上すると同時に、正規化されたエントロピーをベースラインに近づける。
  論文  参考訳（メタデータ） (2026-08-19T02:51:08Z)
• Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
  メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。 リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
  論文  参考訳（メタデータ） (2026-07-28T07:04:32Z)
• Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
  自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。 我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。 VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
  論文  参考訳（メタデータ） (2026-07-20T18:37:58Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Streaming Reinforcement Learning under Partial Observability with Real-Time Recurrent Learning [22.705756039708035]
  ストリーミング強化学習は、データを漸進的に処理する自然言語学習エージェントの制約に適合するオンライン学習パラダイムとして登場した。 本稿では,パラメータカウントにおける線形時間とメモリの複雑さの正確なRTRLを実現するために,対角的リカレントアーキテクチャを提案する。 我々は,リプレイバッファやバッチ更新を使わずに,マスクした MuJoCo 上でのバッチ処理性能のかなりの部分の回復を示す。
  論文  参考訳（メタデータ） (2026-05-23T19:25:30Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• Task-Focused Consolidation with Spaced Recall: Making Neural Networks Learn like College Students [0.0]
  本稿では,Active Recall, Deliberate Practice, Spaced Repetitionといった人間の学習戦略にインスパイアされた,新たな継続的学習手法を提案する。 Task-Focused Consolidation with Spaced Recall (TFC-SR) と呼ばれる。 TFC-SRは、Active Recall Probeと呼ばれるメカニズムで標準体験再生フレームワークを強化します。
  論文  参考訳（メタデータ） (2025-07-10T08:35:30Z)
• Layerwise Proximal Replay: A Proximal Point Method for Online Continual Learning [22.00843101957619]
  オンライン連続学習では、ニューラルネットワークは非i.d.データストリームから漸進的に学習する。 経験的なリプレイでトレーニングされたニューラルネットワークは、不安定な最適化軌道を持つ傾向があります。 本稿では、新しいデータと再生データからの学習のバランスを保ちながら、過去のデータの隠れたアクティベーションの段階的変化を許容するLayerwise Proximal Replay(LPR)を提案する。
  論文  参考訳（メタデータ） (2024-02-14T19:34:28Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。