論文の概要: A Probabilistic Framework for Modular Continual Learning
- arxiv url: http://arxiv.org/abs/2306.06545v1
- Date: Sun, 11 Jun 2023 00:06:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 18:14:48.090851
- Title: A Probabilistic Framework for Modular Continual Learning
- Title(参考訳): モジュール型連続学習のための確率的枠組み
- Authors: Lazar Valkov, Akash Srivastava, Swarat Chaudhuri, Charles Sutton
- Abstract要約: PICLEと呼ばれるモジュール型連続学習フレームワークを開発した。
確率モデルを用いて探索を加速し、各構成の適合度を安価に計算する。
PICLEは,大規模検索空間にスケールしながら,異なるタイプの転送を実現する最初のモジュール型CLアルゴリズムであることを示す。
- 参考スコア(独自算出の注目度): 36.187317508121076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modular approaches, which use a different composition of modules for each
problem and avoid forgetting by design, have been shown to be a promising
direction in continual learning (CL). However, searching through the large,
discrete space of possible module compositions is a challenge because
evaluating a composition's performance requires a round of neural network
training. To address this challenge, we develop a modular CL framework, called
PICLE, that accelerates search by using a probabilistic model to cheaply
compute the fitness of each composition. The model combines prior knowledge
about good module compositions with dataset-specific information. Its use is
complemented by splitting up the search space into subsets, such as perceptual
and latent subsets. We show that PICLE is the first modular CL algorithm to
achieve different types of transfer while scaling to large search spaces. We
evaluate it on two benchmark suites designed to capture different desiderata of
CL techniques. On these benchmarks, PICLE offers significantly better
performance than state-of-the-art CL baselines.
- Abstract(参考訳): モジュールの異なる構成を各問題に適用し,設計を忘れないようにするモジュールアプローチは,連続学習(CL)において有望な方向であることが示されている。
しかしながら、構成物の性能を評価するには、ニューラルネットワークのトレーニングが必要となるため、可能なモジュール構成の大規模で離散的な空間を探索することは困難である。
この課題に対処するために,確率モデルを用いて各構成の適合性を安価に計算し,探索を高速化するモジュール型CLフレームワーク PICLE を開発した。
このモデルは、優れたモジュール構成に関する事前知識とデータセット固有の情報を組み合わせる。
その用途は、検索空間を知覚サブセットや潜在サブセットのようにサブセットに分割することで補完される。
PICLEは,大規模検索空間にスケールしながら,異なるタイプの転送を実現する最初のモジュール型CLアルゴリズムであることを示す。
CL手法のデシラタの異なるデシラタをキャプチャする2つのベンチマークスイートで評価を行った。
これらのベンチマークでは、PICLEは最先端のCLベースラインよりも大幅にパフォーマンスが向上している。
関連論文リスト
- SAPT: A Shared Attention Framework for Parameter-Efficient Continual
Learning of Large Language Models [74.48765681246947]
大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。
既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。
本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
論文 参考訳(メタデータ) (2024-01-16T11:45:03Z) - Discovering modular solutions that generalize compositionally [57.55796617834165]
実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく、ハイパーネットワークで可能であることを示す。
有限データからのメタラーニングが,モノリシックなアーキテクチャではなく,構成的に一般化されたモジュール型ソリューションをいかに発見できるかを実証する。
論文 参考訳(メタデータ) (2023-12-22T16:33:50Z) - LightZero: A Unified Benchmark for Monte Carlo Tree Search in General
Sequential Decision Scenarios [32.83545787965431]
学習モデルを用いた木探索計画能力に基づくエージェントの構築は、GoやAtariといった古典的な意思決定問題において大きな成功を収めている。
モンテカルロ木探索(MCTS)ベースのアルゴリズムを様々な現実世界のアプリケーションに拡張することは困難または不可能であるとみなされている。
本稿では,MCTS/MuZeroを一般的な逐次決定シナリオに展開するための最初の統一ベンチマークであるLightZeroを紹介する。
論文 参考訳(メタデータ) (2023-10-12T14:18:09Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳(メタデータ) (2022-10-14T18:00:07Z) - Clustering units in neural networks: upstream vs downstream information [3.222802562733787]
フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。
2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。
このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
論文 参考訳(メタデータ) (2022-03-22T15:35:10Z) - Continual Learning via Local Module Composition [11.380264053565082]
ローカルモジュール合成 (LMC) は、モジュール型連続学習のアプローチである。
LMCは各モジュールに、モジュールの入力に対する関連性を推定するローカルな構造コンポーネントを提供する。
論文 参考訳(メタデータ) (2021-11-15T13:34:15Z) - Evaluating Modules in Graph Contrastive Learning [29.03038320344791]
グラフコントラスト学習モデルを4つのモジュールに分解するフレームワークを提案する。
ノード分類タスクとグラフ分類タスクについて実験を行う。
モジュール化されたツールキットOpenGCLとして実装と結果をリリースします。
論文 参考訳(メタデータ) (2021-06-15T14:14:23Z) - Pool-based sequential active learning with multi kernels [10.203602318836444]
本研究では,未ラベルデータの大規模なプールから1つのサンプルを毎回クエリする,プールベースシーケンシャルアクティブラーニング(AL)について検討する。
提案する選択基準は,EKDとEKLという2つである。
また、提案したEKDとEKLは、一般的なクエリ・バイ・コミッテ(QBC)と予測モデル・チェンジ(EMC)の概念を一般化することに成功した。
論文 参考訳(メタデータ) (2020-10-22T03:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。