論文の概要: A Probabilistic Framework for Modular Continual Learning

• arxiv url: http://arxiv.org/abs/2306.06545v1
• Date: Sun, 11 Jun 2023 00:06:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 18:14:48.090851
• Title: A Probabilistic Framework for Modular Continual Learning
• Title（参考訳）: モジュール型連続学習のための確率的枠組み
• Authors: Lazar Valkov, Akash Srivastava, Swarat Chaudhuri, Charles Sutton
• Abstract要約: PICLEと呼ばれるモジュール型連続学習フレームワークを開発した。 確率モデルを用いて探索を加速し、各構成の適合度を安価に計算する。 PICLEは,大規模検索空間にスケールしながら,異なるタイプの転送を実現する最初のモジュール型CLアルゴリズムであることを示す。
• 参考スコア（独自算出の注目度）: 36.187317508121076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modular approaches, which use a different composition of modules for each problem and avoid forgetting by design, have been shown to be a promising direction in continual learning (CL). However, searching through the large, discrete space of possible module compositions is a challenge because evaluating a composition's performance requires a round of neural network training. To address this challenge, we develop a modular CL framework, called PICLE, that accelerates search by using a probabilistic model to cheaply compute the fitness of each composition. The model combines prior knowledge about good module compositions with dataset-specific information. Its use is complemented by splitting up the search space into subsets, such as perceptual and latent subsets. We show that PICLE is the first modular CL algorithm to achieve different types of transfer while scaling to large search spaces. We evaluate it on two benchmark suites designed to capture different desiderata of CL techniques. On these benchmarks, PICLE offers significantly better performance than state-of-the-art CL baselines.
• Abstract（参考訳）: モジュールの異なる構成を各問題に適用し,設計を忘れないようにするモジュールアプローチは,連続学習(CL)において有望な方向であることが示されている。 しかしながら、構成物の性能を評価するには、ニューラルネットワークのトレーニングが必要となるため、可能なモジュール構成の大規模で離散的な空間を探索することは困難である。 この課題に対処するために,確率モデルを用いて各構成の適合性を安価に計算し,探索を高速化するモジュール型CLフレームワーク PICLE を開発した。 このモデルは、優れたモジュール構成に関する事前知識とデータセット固有の情報を組み合わせる。 その用途は、検索空間を知覚サブセットや潜在サブセットのようにサブセットに分割することで補完される。 PICLEは,大規模検索空間にスケールしながら,異なるタイプの転送を実現する最初のモジュール型CLアルゴリズムであることを示す。 CL手法のデシラタの異なるデシラタをキャプチャする2つのベンチマークスイートで評価を行った。 これらのベンチマークでは、PICLEは最先端のCLベースラインよりも大幅にパフォーマンスが向上している。

関連論文リスト

• Closed-form merging of parameter-efficient modules for Federated Continual Learning [9.940242741914748]
  一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。 これにより、未知の変数を個別に解くことができ、ユニークな解を見つけることができる。 本手法は,さまざまなFCILシナリオにおける最先端性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T15:30:13Z)
• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models [56.93608812478369]
  本稿では,新たなPEFTモジュールのトレーニングを分離し,タスクの専門化を保証する手法であるL2Rを提案する。 その後、L2Rは学習したモジュールを学習し、以前見たタスクの例を含む小さなメモリを利用するルータのネットワークをトレーニングする。 その結果,L2RはPEFTモジュールの効率的な構成を提供し,他の手法と比較して一般化と性能が向上した。
  論文  参考訳（メタデータ） (2024-08-16T23:57:29Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• A Unifying Multi-sampling-ratio CS-MRI Framework With Two-grid-cycle Correction and Geometric Prior Distillation [7.643154460109723]
  本稿では,モデルベースと深層学習に基づく手法の利点を融合して,深層展開型マルチサンプリング比CS-MRIフレームワークを提案する。 マルチグリッドアルゴリズムにインスパイアされ、まずCS-MRIに基づく最適化アルゴリズムを補正蒸留方式に組み込む。 各段の圧縮サンプリング比から適応的なステップ長と雑音レベルを学習するために条件モジュールを用いる。
  論文  参考訳（メタデータ） (2022-05-14T13:36:27Z)
• Continual Learning via Local Module Composition [11.380264053565082]
  ローカルモジュール合成 (LMC) は、モジュール型連続学習のアプローチである。 LMCは各モジュールに、モジュールの入力に対する関連性を推定するローカルな構造コンポーネントを提供する。
  論文  参考訳（メタデータ） (2021-11-15T13:34:15Z)
• Evaluating Modules in Graph Contrastive Learning [29.03038320344791]
  グラフコントラスト学習モデルを4つのモジュールに分解するフレームワークを提案する。 ノード分類タスクとグラフ分類タスクについて実験を行う。 モジュール化されたツールキットOpenGCLとして実装と結果をリリースします。
  論文  参考訳（メタデータ） (2021-06-15T14:14:23Z)
• Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
  連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。 本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。