論文の概要: Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery
- arxiv url: http://arxiv.org/abs/2604.14375v1
- Date: Wed, 15 Apr 2026 19:48:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:31.582775
- Title: Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery
- Title(参考訳): ゼロリークリコンストラクションルーティングと自律タスク発見によるモジュール型連続学習
- Authors: Noureddine Kermiche,
- Abstract要約: ニューラルネットワークのシーケンシャルなタスク学習において、破滅的な忘れは依然として主要なハードルである。
本稿では,タスク特化専門家と分散型外乱型ゲートキーパーを用いた構造パラメータ分離を実現するシリコンネイティブなモジュールアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 0.9137554315375919
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Catastrophic forgetting remains a primary hurdle in sequential task learning for artificial neural networks. We propose a silicon-native modular architecture that achieves structural parameter isolation using Task-Specific Experts and a distributed, outlier-based Gatekeeper. Moving beyond traditional sequential consolidation, our framework utilizes a Simultaneous Pipeline where Teacher learning, Student distillation, and Router manifold acquisition occur in parallel while raw data is present in a localized training session. This approach ensures computational efficiency and complies with privacy mandates like GDPR by deleting raw data as soon as a task is learned. We demonstrate that a Tight-Bottleneck Autoencoder (TB-AE) can effectively distinguish semantically crowded manifolds in high-dimensional latent spaces, overcoming the posterior collapse inherent to standard variational methods. By establishing strict topological boundaries, our TB-AE resolves latent space crowding in 4096-D LLM embeddings to provide a robust, unsupervised novelty signal. Furthermore, we validate an Autonomous Retrieval mechanism that confidently identifies returning manifolds, enabling stable lifelong learning without redundant module instantiation. Empirical results demonstrate that our ``Live Distillation'' approach acts as a natural regularizer, achieving strong retention across computer vision and natural language processing domains without suffering a student fidelity gap.
- Abstract(参考訳): ニューラルネットワークのシーケンシャルなタスク学習において、破滅的な忘れは依然として主要なハードルである。
本稿では,タスク特化専門家と分散型外乱型ゲートキーパーを用いた構造パラメータ分離を実現するシリコンネイティブなモジュールアーキテクチャを提案する。
従来の逐次的統合を超えて,本フレームワークでは,教師の学習,学生の蒸留,ルータ多様体の取得を並列に行うと同時に,生データが局所的な学習セッションに存在するようにしている。
このアプローチは、計算効率を保証し、タスクが学習された直後に生データを削除することで、GDPRのようなプライバシ義務に準拠します。
我々は,高次元潜在空間における意味的に混在する多様体をTB-AE(Tight-Bottleneck Autoencoder)により効果的に識別できることを実証した。
我々のTB-AEは、厳密な位相境界を確立することにより、4096-D LLM埋め込みにおける遅延空間群集を解決し、堅牢で教師なしの新規性信号を提供する。
さらに,再帰多様体を確実に同定し,冗長モジュールのインスタンス化を伴わずに安定な生涯学習を可能にする自律検索機構を検証する。
実験結果から, コンピュータビジョンや自然言語処理領域をまたいで, 学生の忠実さを損なうことなく, 高い保持性が得られることが示唆された。
関連論文リスト
- Anticipatory Reinforcement Learning: From Generative Path-Laws to Distributional Value Functions [0.0]
本稿では,非マルコフ決定プロセスと古典的強化学習アーキテクチャのギャップを埋める新しいフレームワークである予測強化学習(ARL)を紹介する。
ジャンプ拡散と構造破壊によって特徴づけられる環境では、伝統的な状態に基づく手法は、正確なフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホアホ
論文 参考訳(メタデータ) (2026-04-06T13:15:44Z) - Beyond Static Datasets: Robust Offline Policy Optimization via Vetted Synthetic Transitions [4.359780028396042]
静的データセットと学習ポリシ間の分散シフトに対処するモデルベースのフレームワークであるMoReBRACを提案する。
本研究では,変分オートエンコーダ(VAE)モデル検出,モデル感度解析,モンテカルロ(MC)ドロップアウトを統合した階層的不確実性パイプラインを実装した。
D4RL Gym-MuJoCoベンチマークの結果,特にランダム'とサブ最適'のデータ構造において,大幅な性能向上が示された。
論文 参考訳(メタデータ) (2026-01-26T03:38:27Z) - Operator Models for Continuous-Time Offline Reinforcement Learning [4.808981008878068]
環境との直接の相互作用は、しばしば安全でないか非現実的であり、歴史的データからオフラインの強化学習を動機付けている。
ハミルトン・ヤコビ・ベルマン方程式に強化学習をリンクし、演算子理論のアルゴリズムを提案することでこの問題に対処する。
具体的には、再生カーネルヒルベルト空間で学習した制御拡散過程の無限小生成という観点から世界モデルを表現している。
論文 参考訳(メタデータ) (2025-11-13T14:58:30Z) - Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。
当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
論文 参考訳(メタデータ) (2025-10-29T12:08:07Z) - Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。
そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-10-13T22:28:34Z) - Unsupervised Online 3D Instance Segmentation with Synthetic Sequences and Dynamic Loss [52.28880405119483]
教師なしのオンライン3Dインスタンスのセグメンテーションは、基本的だが難しい課題だ。
UNITのような既存の手法はこの方向に進んできたが、訓練の多様性が制限されているままである。
本稿では,合成点雲列生成によるトレーニング分布の強化を目的とした新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-27T08:53:27Z) - Without Paired Labeled Data: End-to-End Self-Supervised Learning for Drone-view Geo-Localization [20.603433987118837]
ドローンビュージオローカライゼーション(DVGL)は、GPSタグ付き衛星画像を取得することで、ドローンの正確なローカライゼーションを実現することを目的としている。
既存の手法は、教師あり学習のために、厳密にペアリングされたドローン衛星画像に大きく依存している。
浅いバックボーンネットワークを用いたエンドツーエンドの自己教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2025-02-17T02:53:08Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳(メタデータ) (2024-01-02T03:37:11Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳(メタデータ) (2023-07-27T04:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。