論文の概要: A Probabilistic Framework for Modular Continual Learning
- arxiv url: http://arxiv.org/abs/2306.06545v2
- Date: Thu, 2 May 2024 12:03:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 22:39:45.473074
- Title: A Probabilistic Framework for Modular Continual Learning
- Title(参考訳): モジュール型連続学習のための確率的フレームワーク
- Authors: Lazar Valkov, Akash Srivastava, Swarat Chaudhuri, Charles Sutton,
- Abstract要約: モジュール構成の大規模かつ離散的な空間を探索するモジュール型連続学習フレームワーク PICLE を開発した。
PICLEは,大規模検索空間に拡張しながら知覚的,少数ショット,潜時移動を実現する最初のモジュール型CLアルゴリズムである。
- 参考スコア(独自算出の注目度): 27.398496741452554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modular approaches that use a different composition of modules for each problem are a promising direction in continual learning (CL). However, searching through the large, discrete space of module compositions is challenging, especially because evaluating a composition's performance requires a round of neural network training. We address this challenge through a modular CL framework, PICLE, that uses a probabilistic model to cheaply compute the fitness of each composition, allowing PICLE to achieve both perceptual, few-shot and latent transfer. The model combines prior knowledge about good module compositions with dataset-specific information. We evaluate PICLE using two benchmark suites designed to assess different desiderata of CL techniques. Comparing to a wide range of approaches, we show that PICLE is the first modular CL algorithm to achieve perceptual, few-shot and latent transfer while scaling well to large search spaces, outperforming previous state-of-the-art modular CL approaches on long problem sequences.
- Abstract(参考訳): 各問題に対して異なるモジュール構成を使用するモジュールアプローチは、連続学習(CL)において有望な方向である。
しかし、特に構成のパフォーマンスを評価するには、ニューラルネットワークの学習のラウンドを必要とするため、モジュール構成の大規模で離散的な空間を探索することは困難である。
この課題に対処するモジュール型CLフレームワークであるPICLEは、確率モデルを用いて、各構成の適合度を安価に計算し、PICLEが知覚的、少数ショット、潜在トランスファーの両方を達成できるようにする。
このモデルは、優れたモジュール構成に関する事前知識とデータセット固有の情報を組み合わせる。
CL手法の異なるデシラタを評価するために2つのベンチマークスイートを用いてPICLEを評価した。
幅広い手法と比較して、PICLEは、大きな探索空間に順応しながら、知覚的、少数ショット的、潜在的な転送を実現する最初のモジュラーCLアルゴリズムであり、長い問題列に対する従来の最先端のモジュラーCLアプローチよりも優れていることを示す。
関連論文リスト
- GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model [66.35608254724566]
状態空間モデル(SSM)は、二次的複雑性を伴う長距離依存のモデリングにおいて効果的な性能を示した。
しかし、純粋なSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最適性能の達成に関連する課題に直面している。
本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
論文 参考訳(メタデータ) (2024-07-18T17:59:58Z) - SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。
既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。
本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
論文 参考訳(メタデータ) (2024-01-16T11:45:03Z) - Modularity in Deep Learning: A Survey [0.0]
データ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念についてレビューする。
データモジュラリティ(Data modularity)とは、さまざまな目的のためにデータグループを観察または作成することを指す。
タスクのモジュール化はタスクをサブタスクに分解することを指す。
モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
論文 参考訳(メタデータ) (2023-10-02T12:41:34Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳(メタデータ) (2022-10-14T18:00:07Z) - A Unifying Multi-sampling-ratio CS-MRI Framework With Two-grid-cycle
Correction and Geometric Prior Distillation [7.643154460109723]
本稿では,モデルベースと深層学習に基づく手法の利点を融合して,深層展開型マルチサンプリング比CS-MRIフレームワークを提案する。
マルチグリッドアルゴリズムにインスパイアされ、まずCS-MRIに基づく最適化アルゴリズムを補正蒸留方式に組み込む。
各段の圧縮サンプリング比から適応的なステップ長と雑音レベルを学習するために条件モジュールを用いる。
論文 参考訳(メタデータ) (2022-05-14T13:36:27Z) - Continual Learning via Local Module Composition [11.380264053565082]
ローカルモジュール合成 (LMC) は、モジュール型連続学習のアプローチである。
LMCは各モジュールに、モジュールの入力に対する関連性を推定するローカルな構造コンポーネントを提供する。
論文 参考訳(メタデータ) (2021-11-15T13:34:15Z) - Evaluating Modules in Graph Contrastive Learning [29.03038320344791]
グラフコントラスト学習モデルを4つのモジュールに分解するフレームワークを提案する。
ノード分類タスクとグラフ分類タスクについて実験を行う。
モジュール化されたツールキットOpenGCLとして実装と結果をリリースします。
論文 参考訳(メタデータ) (2021-06-15T14:14:23Z) - Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。
本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-29T21:41:31Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳(メタデータ) (2020-05-08T01:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。