論文の概要: A Probabilistic Framework for Modular Continual Learning

• arxiv url: http://arxiv.org/abs/2306.06545v2
• Date: Thu, 2 May 2024 12:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 22:39:45.473074
• Title: A Probabilistic Framework for Modular Continual Learning
• Title（参考訳）: モジュール型連続学習のための確率的フレームワーク
• Authors: Lazar Valkov, Akash Srivastava, Swarat Chaudhuri, Charles Sutton,
• Abstract要約: モジュール構成の大規模かつ離散的な空間を探索するモジュール型連続学習フレームワーク PICLE を開発した。 PICLEは,大規模検索空間に拡張しながら知覚的,少数ショット,潜時移動を実現する最初のモジュール型CLアルゴリズムである。
• 参考スコア（独自算出の注目度）: 27.398496741452554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modular approaches that use a different composition of modules for each problem are a promising direction in continual learning (CL). However, searching through the large, discrete space of module compositions is challenging, especially because evaluating a composition's performance requires a round of neural network training. We address this challenge through a modular CL framework, PICLE, that uses a probabilistic model to cheaply compute the fitness of each composition, allowing PICLE to achieve both perceptual, few-shot and latent transfer. The model combines prior knowledge about good module compositions with dataset-specific information. We evaluate PICLE using two benchmark suites designed to assess different desiderata of CL techniques. Comparing to a wide range of approaches, we show that PICLE is the first modular CL algorithm to achieve perceptual, few-shot and latent transfer while scaling well to large search spaces, outperforming previous state-of-the-art modular CL approaches on long problem sequences.
• Abstract（参考訳）: 各問題に対して異なるモジュール構成を使用するモジュールアプローチは、連続学習(CL)において有望な方向である。 しかし、特に構成のパフォーマンスを評価するには、ニューラルネットワークの学習のラウンドを必要とするため、モジュール構成の大規模で離散的な空間を探索することは困難である。 この課題に対処するモジュール型CLフレームワークであるPICLEは、確率モデルを用いて、各構成の適合度を安価に計算し、PICLEが知覚的、少数ショット、潜在トランスファーの両方を達成できるようにする。 このモデルは、優れたモジュール構成に関する事前知識とデータセット固有の情報を組み合わせる。 CL手法の異なるデシラタを評価するために2つのベンチマークスイートを用いてPICLEを評価した。 幅広い手法と比較して、PICLEは、大きな探索空間に順応しながら、知覚的、少数ショット的、潜在的な転送を実現する最初のモジュラーCLアルゴリズムであり、長い問題列に対する従来の最先端のモジュラーCLアプローチよりも優れていることを示す。

関連論文リスト

• Closed-form merging of parameter-efficient modules for Federated Continual Learning [9.940242741914748]
  一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。 これにより、未知の変数を個別に解くことができ、ユニークな解を見つけることができる。 本手法は,さまざまなFCILシナリオにおける最先端性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T15:30:13Z)
• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Learning to Route for Dynamic Adapter Composition in Continual Learning with Language Models [56.93608812478369]
  本稿では,新たなPEFTモジュールのトレーニングを分離し,タスクの専門化を保証する手法であるL2Rを提案する。 その後、L2Rは学習したモジュールを学習し、以前見たタスクの例を含む小さなメモリを利用するルータのネットワークをトレーニングする。 その結果,L2RはPEFTモジュールの効率的な構成を提供し,他の手法と比較して一般化と性能が向上した。
  論文  参考訳（メタデータ） (2024-08-16T23:57:29Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• A Unifying Multi-sampling-ratio CS-MRI Framework With Two-grid-cycle Correction and Geometric Prior Distillation [7.643154460109723]
  本稿では,モデルベースと深層学習に基づく手法の利点を融合して,深層展開型マルチサンプリング比CS-MRIフレームワークを提案する。 マルチグリッドアルゴリズムにインスパイアされ、まずCS-MRIに基づく最適化アルゴリズムを補正蒸留方式に組み込む。 各段の圧縮サンプリング比から適応的なステップ長と雑音レベルを学習するために条件モジュールを用いる。
  論文  参考訳（メタデータ） (2022-05-14T13:36:27Z)
• Continual Learning via Local Module Composition [11.380264053565082]
  ローカルモジュール合成 (LMC) は、モジュール型連続学習のアプローチである。 LMCは各モジュールに、モジュールの入力に対する関連性を推定するローカルな構造コンポーネントを提供する。
  論文  参考訳（メタデータ） (2021-11-15T13:34:15Z)
• Evaluating Modules in Graph Contrastive Learning [29.03038320344791]
  グラフコントラスト学習モデルを4つのモジュールに分解するフレームワークを提案する。 ノード分類タスクとグラフ分類タスクについて実験を行う。 モジュール化されたツールキットOpenGCLとして実装と結果をリリースします。
  論文  参考訳（メタデータ） (2021-06-15T14:14:23Z)
• Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
  連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。 本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。