論文の概要: A Noise Optimum in Rehearsal-Free Continual Learning: Isolation, Mechanism, and Scope
- arxiv url: http://arxiv.org/abs/2609.20162v1
- Date: Wed, 22 Jul 2026 18:00:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.619454
- Title: A Noise Optimum in Rehearsal-Free Continual Learning: Isolation, Mechanism, and Scope
- Title（参考訳）: リハーサルなし連続学習における騒音最適性:孤立・メカニズム・スコープ
- Abstract要約: 統合ルールにノイズを注入することで、ネットワークの以前のタスクの保持を最適なレベルまで改善し、分解することができる。
本稿では,その最適生成点とそれを保持する地図を,シミュレーションで完全に分離する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Injecting stochastic noise into a consolidation rule can improve a network's retention of earlier tasks up to an optimal level, then degrade it -- an inverted-U in retention vs. noise. This paper isolates what produces that optimum and maps where it holds, entirely in simulation. (1) Phenomenon: the retention inverted-U appears on several related-task continual-learning benchmarks (Split-MNIST, FashionMNIST, continual Yin-Yang). (2) Isolation: a magnitude-matched ladder shows the effect requires coherent restoring toward the consolidated weights -- a random-direction force of identical magnitude produces no optimum, and a coherent force toward the wrong target actively hurts. (3) Active ingredient: most of the optimum is recovered by coupling the anchor gain to the injected-noise variance sigma^2 -- a one-line rule that neither Ornstein-Uhlenbeck Adaptation (fixed gain) nor MESU (posterior-variance gain) implements. A forced Ornstein-Uhlenbeck calculation derives the rising flank and predicts that the optimal noise rises with per-task interference g -- confirmed out-of-sample in direction against pre-existing measurements (the exponent is unresolved at our grid). The barrier-conditioning of the originating Doob h-transform is a low-sigma safety net that bounds forgetting where the coupled gain is too weak. (4) Scope: the optimum requires shared task structure -- it is absent on permuted-MNIST, and a controlled rotated-vs-permuted comparison localizes the boundary to task structure; the precise governing quantity is left open. (5) Length: at matched severity the advantage persists but attenuates with task count, and we show no rotation family can attribute the trend (a compact-group identity). A single-seed BrainScaleS-2 demonstration of the originating rule is reported separately (Howe, arXiv:2607.06924); this paper makes no hardware claim.
- Abstract（参考訳）: コンソリデーションルールに確率的ノイズを注入することで、ネットワークの以前のタスクの保持を最適なレベルまで改善する。
本稿では,その最適生成点とそれを保持する地図を,シミュレーションで完全に分離する。
1) Phenomenon: Retention inverted-Uはいくつかの関連するタスク連続学習ベンチマーク(Split-MNIST,FashionMNIST,Continuous Yin-Yang)に現れる。
2) 分離: 等級整合はしごは、連結重みに対するコヒーレント復元を必要とすることを示す - 同じ等級のランダムな方向力は最適を生じず、間違った目標に対するコヒーレント力が積極的に傷つく。
(3) 有効成分: アンカーゲインを注入ノイズ分散シグマ^2に結合することにより、ほとんどの最適成分が回収される。
強制的なオルンシュタイン=ウレンベックの計算は、上昇する側面を導いており、最適ノイズは、タスク毎の干渉gで上昇し、既存の測定値に対して方向が確認される(指数は我々の格子では未解決)。
起源のDoob h-transformのバリアコンディショニングは、結合利得が弱すぎる場所を忘れてしまう低いシグマセーフティネットである。
(4) スコープ: 最適なタスク構造は、共有タスク構造を必要とする -- 置換-MNISTにはない、制御された回転-vs-置換比較は、タスク構造に境界をローカライズする。
(5) 長さ: 一致した重み: 優位性は持続するが、タスク数で減衰し、回転族がその傾向(コンパクト群恒等式)を帰属できないことを示す。
単一シードのBrainScaleS-2による発端規則の証明は別々に報告されている(Howe, arXiv:2607.06924)。
関連論文リスト
- Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning [6.667218294299622]
非同期強化学習(RL)は、ポリシー最適化と重複するロールアウト生成によって、大規模言語モデル(LLM)の訓練後を加速する。
既存の方法では、トークンの重要度のみに基づいてトークンを保管または廃棄するのが一般的である。
本研究では,各トークンの局所的なエントロピーによるオフ・ポリティクスの偏差を拡大するエントロピー・スケール・トラスト・リージョン(ESTR)を提案する。
論文 参考訳（メタデータ） (2026-07-24T10:55:42Z) - Intrinsic-Noise Consolidation: A Doob-Barrier-Conditioned Diffusion Turns Analog Device Noise into a Continual-Learning Resource [0.0]
アナログニューロモルフィックハードウェアでは、固有のデバイスノイズは通常精度税である。
シングルヘッドのスプリット-MNIST (8シード)ルールでは、最適な内部で保持率10.9ポイントを上昇させる。
実際のBrainScaleS-2(オンチップ平均化による追加的、トライアル・ツー・トライアル・インディペンデント、チューナブル)の固有ノイズを測定し、トレーニングループのノイズでチップ上でルールを実行する。
論文 参考訳（メタデータ） (2026-07-08T02:38:02Z) - Noisy quantum circuit simulation with the tensor jump method [4.323508970487569]
本稿では,テンソルジャンプ法と行列積状態の局所的なTDVPゲート進化と,スパースなPauli-Lindbladハードウェアノイズモデルを組み合わせた分散対応テンソルネットワークフレームワークを提案する。
我々は,25kbitのノイズXYクエンチとIBMの127kbitのキックドイシングベンチマークを用いて,高精度でスケーラブルなノイズ回路シミュレーションを行った。
論文 参考訳（メタデータ） (2026-07-01T18:00:01Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。
密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。
本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
論文 参考訳（メタデータ） (2026-05-22T04:05:13Z) - Variational Kernel Design for Internal Noise: Gaussian Chaos Noise, Representation Compatibility, and Reliable Deep Learning [0.0]
ディープネットワークの内部ノイズは通常、ドロップアウト、ハードマスキング、加法摂動などの摂動から受け継がれる。
内部ノイズはどのような相関幾何学を持つべきで、実装された摂動はそれらが作用する表現と互換性があるのか?
本稿では,法則ファミリ,相関カーネル,インジェクション演算子によってノイズ機構が特定され,デシダラタの学習から導出されるフレームワークである変分カーネル設計(VKD)を通じて,これらの疑問に答える。
論文 参考訳（メタデータ） (2026-03-18T05:12:56Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。
このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。
我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-11T09:41:36Z) - Optimal High-probability Convergence of Nonlinear SGD under Heavy-tailed Noise via Symmetrization [50.49466204159458]
雑音対称性に基づく2つの新しい推定器を提案する。
よりシャープな分析と改善されたレートを提供します。
モーメントと対称雑音を仮定する作業と比較して、よりシャープな解析と改善率を提供する。
論文 参考訳（メタデータ） (2025-07-12T00:31:13Z) - Noise-resilient Edge Modes on a Chain of Superconducting Qubits [103.93329374521808]
量子系の遺伝対称性は、それ以外は脆弱な状態を保護することができる。
非局所マヨラナエッジモード(MEM)を$mathbbZ$パリティ対称性で表す一次元キックドイジングモデルを実装した。
MEMは、予熱機構により特定の対称性を破るノイズに対して弾力性があることが判明した。
論文 参考訳（メタデータ） (2022-04-24T22:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。