論文の概要: Zero-shot Task Preference Addressing Enabled by Imprecise Bayesian
Continual Learning
- arxiv url: http://arxiv.org/abs/2305.14782v1
- Date: Wed, 24 May 2023 06:39:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 19:00:23.765512
- Title: Zero-shot Task Preference Addressing Enabled by Imprecise Bayesian
Continual Learning
- Title(参考訳): ベイズ連続学習によるゼロショットタスク選択アドレッシング
- Authors: Pengyuan Lu and Michele Caprio and Eric Eaton and Insup Lee
- Abstract要約: 本稿では,タスクパフォーマンストレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。
IBCLは、知識ベースから好み順応モデルを構築するために、追加のトレーニングオーバーヘッドを必要としない。
IBCLで得られたモデルには、好むパラメータを識別する保証があることが示されている。
- 参考スコア(独自算出の注目度): 19.11678487931003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Like generic multi-task learning, continual learning has the nature of
multi-objective optimization, and therefore faces a trade-off between the
performance of different tasks. That is, to optimize for the current task
distribution, it may need to compromise performance on some tasks to improve on
others. This means there exist multiple models that are each optimal at
different times, each addressing a distinct task-performance trade-off.
Researchers have discussed how to train particular models to address specific
preferences on these trade-offs. However, existing algorithms require
additional sample overheads -- a large burden when there are multiple, possibly
infinitely many, preferences. As a response, we propose Imprecise Bayesian
Continual Learning (IBCL). Upon a new task, IBCL (1) updates a knowledge base
in the form of a convex hull of model parameter distributions and (2) obtains
particular models to address preferences with zero-shot. That is, IBCL does not
require any additional training overhead to construct preference-addressing
models from its knowledge base. We show that models obtained by IBCL have
guarantees in identifying the preferred parameters. Moreover, experiments show
that IBCL is able to locate the Pareto set of parameters given a preference,
maintain similar to better performance than baseline methods, and significantly
reduce training overhead via zero-shot preference addressing.
- Abstract(参考訳): 一般的なマルチタスク学習と同様に、連続学習は多目的最適化の性質を持ち、異なるタスクのパフォーマンス間のトレードオフに直面します。
つまり、現在のタスク分散を最適化するには、他のタスクを改善するために、いくつかのタスクのパフォーマンスを損なう必要があるかもしれない。
これは、それぞれが異なるタイミングで最適な複数のモデルが存在し、それぞれが異なるタスクパフォーマンストレードオフに対処することを意味する。
研究者は、これらのトレードオフに関する特定の好みに対応するために、特定のモデルをトレーニングする方法について議論した。
しかし、既存のアルゴリズムは追加のサンプルオーバーヘッドを必要とします。
その結果,Imrecise Bayesian Continual Learning (IBCL)を提案する。
新しいタスクを行うと、ibcl (1) はモデルパラメータ分布の凸包の形で知識ベースを更新し、(2)ゼロショットで選好に対処するための特定のモデルを取得する。
すなわち、IBCLはその知識ベースから好み適応モデルを構築するために追加のトレーニングオーバーヘッドを必要としない。
ibclによって得られたモデルが望ましいパラメータを識別する保証を持つことを示す。
さらに、IBCLは、好みのパラメータのPareto集合を特定でき、ベースライン法よりも優れた性能を維持し、ゼロショット優先アドレッシングによるトレーニングオーバーヘッドを大幅に削減できることを示した。
関連論文リスト
- IBCL: Zero-shot Model Generation for Task Trade-offs in Continual
Learning [15.77524891010002]
本稿では,タスクトレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。
IBCLは、知識ベースから好み順応モデルを生成するために、追加のトレーニングオーバーヘッドを必要としない。
IBCLは平均タスク毎の精度を23%、ピークタスク毎の精度を15%改善する。
論文 参考訳(メタデータ) (2023-10-04T17:30:50Z) - Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。
本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文 参考訳(メタデータ) (2023-09-05T17:57:31Z) - BitE : Accelerating Learned Query Optimization in a Mixed-Workload
Environment [0.36700088931938835]
BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。
我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
論文 参考訳(メタデータ) (2023-06-01T16:05:33Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳(メタデータ) (2022-02-08T19:18:49Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-01-27T21:38:53Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-26T09:08:38Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳(メタデータ) (2020-08-02T02:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。