論文の概要: Neural Succession: A Mesoscopic Theory of Invasion, Coexistence, and Stabilization in Continual Learning
- arxiv url: http://arxiv.org/abs/2609.36375v1
- Date: Mon, 28 Sep 2026 23:07:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.05182
- Title: Neural Succession: A Mesoscopic Theory of Invasion, Coexistence, and Stabilization in Continual Learning
- Title(参考訳): 神経継承:連続学習における侵入・共存・安定化のメソスコピック理論
- Abstract要約: 本研究では,現在住民コミュニティとなっているメソスコピック・アカウントである逐次学習理論(SLT)を開発した。
その経験的座標は、入力タスクが学習される前に、常駐モデル上で測定される、指向性前侵入互換性である。
84-NISTスイートでは、互換性は保持しきい値ごとに共存と排除を分離する。
- 参考スコア(独自算出の注目度): 3.0969191504482243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning is usually studied through mechanisms that preserve old knowledge. We develop Successional Learning Theory (SLT), a mesoscopic account in which the current representation is a resident community, the incoming task is an invader, forgetting is resident displacement, joint retention is coexistence, replay is resident reinforcement, and training moves from establishment toward stabilization. Its empirical coordinate is directional pre-invasion compatibility, measured on the resident model before the incoming task is learned. Across eight experiments, compatibility orders later forgetting on the 20 directed Split-CIFAR-10 transitions (three-repeat r=-0.789, incoming-task cluster 95% CI [-0.90,-0.72], every repeat alone r<=-0.67), forecasts held-out forgetting with 24% lower error than a no-information baseline, and reproduces under controlled MNIST permutations and CIFAR-10 rotations (r=-0.804, -0.718). On an 84-transition suite, compatibility separates coexistence from exclusion at every retention threshold (AUC 0.93-0.97). Replay repairs every transition with at most 325 stored examples and is most efficient where displacement is largest. Compatibility reaches |r|=0.720, while activation, representation, Jacobian, and fixed-coefficient Lotka-Volterra specializations do not. Plasticity and feature turnover fall reliably from early to late training (15/15 and 14/15 runs). We formalize a minimum habitat-modification bound, a displacement floor, a sufficient coexistence condition, an identifiability law with a range-restriction corollary, successional stabilization, and local reinforcement. The identifiability law also predicts where the coordinate loses leverage, and the prediction matches three CIFAR-100 partitions and five optimizer regimes. SLT is a pre-adaptation diagnostic that complements replay, regularization, and projection methods.
- Abstract(参考訳): 継続的な学習は通常、古い知識を保存するメカニズムを通して研究される。
本研究では,現在表現が居住コミュニティであるメソスコピック・アカウント,入ってくるタスクが侵入者であり,着地場所を忘れること,共同保持が共存すること,リプレイが居住強化であること,確立から安定化へのトレーニングの移動である逐次学習理論(SLT)を開発する。
その経験的座標は、入力タスクが学習される前に、常駐モデル上で測定される、指向性前侵入互換性である。
8つの実験で、互換性命令は後に20の指示されたスプリット-CIFAR-10遷移(3つの繰り返し r=-0.789、入射タスククラスタ95% CI [-0.90,-0.72]、すべてのリピートのみ r<=-0.67])を忘れ、非情報ベースラインよりも24%低いエラーで、制御されたMNIST置換とCIFAR-10回転(r=-0.804, -0.718)で再現する。
84-transitionスイートでは、互換性は保持しきい値(AUC 0.93-0.97)ごとに共存を区別する。
リプレイは、少なくとも325個の格納されたサンプルですべての遷移を修復し、変位が最大となる最も効率的な場所である。
適合性は |r|=0.720 に達するが、アクティベーション、表現、ジャコビアン、固定係数のロトカ・ボルテラ特殊化はそうではない。
可塑性と特徴回転は、早期から後期の訓練(15/15、14/15ラン)で確実に低下する。
我々は,最小の生息域変更境界,変位床,十分な共存条件,範囲制限付き識別可能性法則,逐次安定化,局所強化を定式化した。
識別可能性法はまた、座標がレバレッジを失う場所を予測し、予測は3つのCIFAR-100分割と5つのオプティマイザ規則と一致する。
SLTは、リプレイ、正規化、投射を補完する事前適応診断である。
関連論文リスト
- Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning [53.476598858325985]
複数ステップのロールアウトエラーを個々のステップで導入したエラーに分解し,その後の遷移を通した伝播を行う。
状態-アフィンダイナミクスは、状態非依存のヤコビアンとの微分可能遷移であることを示す。
動作条件付き状態-アフィンダイナミクスモデルであるSALTを導入し、動作が状態変換と追加更新の両方を変調する。
論文 参考訳(メタデータ) (2026-09-27T14:12:27Z) - MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
MeshHealは、完全に分散化された自己修復フレームワークである。
能力にマッチしたピアレビューを2つのタイムスケールに分けている。
1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
論文 参考訳(メタデータ) (2026-09-24T04:29:37Z) - TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。
しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。
凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。
MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
論文 参考訳(メタデータ) (2026-08-18T23:40:28Z) - Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning [33.56197101721029]
非同期強化学習は、最適化からロールアウト生成を分離することでスループットを向上させる。
結果として生じる不安定さは必然的な副産物であり、ポリシーラグ、エンジン遅延、およびエキスパートの混合ルーティングによって共同で合成される。
本稿では,分割されたサンプルログ比を実用的な安定化プロキシとして利用するStaleness-Adaptive Trust Region (SAT)を紹介した。
論文 参考訳(メタデータ) (2026-07-21T05:27:50Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - CHRep: Cross-modal Histology Representation and Post-hoc Calibration for Spatial Gene Expression Prediction [28.987057722330135]
CHRepは、堅牢な組織学から表現予測のためのフレームワークである。
相関認識回帰、対称画像圧縮アライメント、座標誘起空間トポロジ正規化を併用して構造認識表現を学習する。
離脱ワンスライディングアウト評価の下で、遺伝子ワイド相関を一貫して改善する。
論文 参考訳(メタデータ) (2026-04-23T11:53:07Z) - PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories A Unified Framework for Test-Time Adaptation with Compositional Rule Learning and Pareto-Guided Prompt Evolution [2.28438857884398]
自然言語として知識を格納するLLMエージェントは、条件数の増加に伴って急激な検索劣化に悩まされる。
本稿では,3つの密結合コンポーネントによるテスト時間適応のための統合フレームワークであるPreCEPTを紹介する。
論文 参考訳(メタデータ) (2026-03-10T13:16:45Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳(メタデータ) (2026-02-19T08:31:16Z) - Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
シフトした後継尺度において,低ランク構造が自然に現れることを示す。
有効な低ランク近似と推定に必要なシフトの量を定量化する。
論文 参考訳(メタデータ) (2025-09-05T15:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。