論文の概要: IBCL: Zero-shot Model Generation for Task Trade-offs in Continual Learning

• arxiv url: http://arxiv.org/abs/2310.02995v1
• Date: Wed, 4 Oct 2023 17:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 13:40:47.761310
• Title: IBCL: Zero-shot Model Generation for Task Trade-offs in Continual Learning
• Title（参考訳）: IBCL:連続学習におけるタスクトレードオフのためのゼロショットモデル生成
• Authors: Pengyuan Lu and Michele Caprio and Eric Eaton and Insup Lee
• Abstract要約: 本稿では,タスクトレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。 IBCLは、知識ベースから好み順応モデルを生成するために、追加のトレーニングオーバーヘッドを必要としない。 IBCLは平均タスク毎の精度を23%、ピークタスク毎の精度を15%改善する。
• 参考スコア（独自算出の注目度）: 15.77524891010002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Like generic multi-task learning, continual learning has the nature of multi-objective optimization, and therefore faces a trade-off between the performance of different tasks. That is, to optimize for the current task distribution, it may need to compromise performance on some previous tasks. This means that there exist multiple models that are Pareto-optimal at different times, each addressing a distinct task performance trade-off. Researchers have discussed how to train particular models to address specific trade-off preferences. However, existing algorithms require training overheads proportional to the number of preferences -- a large burden when there are multiple, possibly infinitely many, preferences. As a response, we propose Imprecise Bayesian Continual Learning (IBCL). Upon a new task, IBCL (1) updates a knowledge base in the form of a convex hull of model parameter distributions and (2) obtains particular models to address task trade-off preferences with zero-shot. That is, IBCL does not require any additional training overhead to generate preference-addressing models from its knowledge base. We show that models obtained by IBCL have guarantees in identifying the Pareto optimal parameters. Moreover, experiments on standard image classification and NLP tasks support this guarantee. Statistically, IBCL improves average per-task accuracy by at most 23\% and peak per-task accuracy by at most 15\% with respect to the baseline methods, with steadily near-zero or positive backward transfer. Most importantly, IBCL significantly reduces the training overhead from training 1 model per preference to at most 3 models for all preferences.
• Abstract（参考訳）: 一般的なマルチタスク学習と同様に、連続学習は多目的最適化の性質を持ち、異なるタスクのパフォーマンス間のトレードオフに直面します。 つまり、現在のタスク分散のために最適化するには、以前のタスクのパフォーマンスを損なう必要がある。 これは、異なるタイミングでパレート最適である複数のモデルが存在し、それぞれが異なるタスクパフォーマンストレードオフに対処することを意味する。 研究者は、特定のトレードオフ設定に対応するために、特定のモデルをトレーニングする方法について議論した。 しかし、既存のアルゴリズムでは、好みの数に比例するオーバーヘッドをトレーニングする必要があります。 その結果,Imrecise Bayesian Continual Learning (IBCL)を提案する。 IBCL(1)は,(1)モデルパラメータ分布の凸殻の形で知識ベースを更新し,(2)ゼロショットでタスクのトレードオフ設定に対処する特定のモデルを取得する。 すなわち、IBCLはその知識ベースから好み適応モデルを生成するために追加のトレーニングオーバーヘッドを必要としない。 IBCL で得られたモデルは,Pareto 最適パラメータの同定に有効であることを示す。 さらに、標準画像分類とNLPタスクの実験がこの保証を支持している。 統計的に、ibclは平均タスク毎の精度を最大23\%、ピーク毎の精度をベースライン法に対して最大15\%改善し、着実にゼロに近いか正の後方転送を行う。 最も重要なことは、IBCLがトレーニングのオーバーヘッドを、選好毎にトレーニング1モデルから、すべての選好に対して少なくとも3モデルに大幅に削減することです。

関連論文リスト

• On Giant's Shoulders: Effortless Weak to Strong by Dynamic Logits Fusion [23.63688816017186]
  既存の弱強法では、静的な知識伝達比と、複雑な知識を伝達するための単一の小さなモデルを用いることが多い。 本稿では,複数のタスク固有小モデルに対して,それぞれ異なるタスクに特化して動作する動的ロジット融合手法を提案する。 本手法では,シングルタスクシナリオでは96.4%,マルチタスクシナリオでは86.3%のパフォーマンスギャップを埋める。
  論文  参考訳（メタデータ） (2024-06-17T03:07:41Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• Exploring Transferability for Randomized Smoothing [37.60675615521106]
  本稿では,頑健なモデルを事前学習する手法を提案する。 クリーンな画像のみを微調整しても、驚くほど強力な認証精度が得られます。
  論文  参考訳（メタデータ） (2023-12-14T15:08:27Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Zero-shot Task Preference Addressing Enabled by Imprecise Bayesian Continual Learning [19.11678487931003]
  本稿では,タスクパフォーマンストレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。 IBCLは、知識ベースから好み順応モデルを構築するために、追加のトレーニングオーバーヘッドを必要としない。 IBCLで得られたモデルには、好むパラメータを識別する保証があることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T06:39:00Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。