論文の概要: Jack and Masters of All Trades: One-Pass Learning of a Set of Model Sets
from Foundation AI Models
- arxiv url: http://arxiv.org/abs/2205.00671v2
- Date: Wed, 22 Jun 2022 01:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 20:52:05.852042
- Title: Jack and Masters of All Trades: One-Pass Learning of a Set of Model Sets
from Foundation AI Models
- Title(参考訳): Jack and Masters of All Trades: ファンデーションAIモデルからモデルセットの集合をワンパスで学ぶ
- Authors: Han Xiang Choong, Yew-Soon Ong, Abhishek Gupta and Ray Lim
- Abstract要約: 本稿では,多種多様な機械学習モデルセットの作成について検討する。
多くの小型で特殊なモデルで構成され、多くのタスク設定と環境条件を同時に満たすためにセットのセットを定式化します。
神経進化的マルチタスキングアルゴリズムの一パスにおいて、そのようなセットに確実に到達する手段を初めて提示する。
- 参考スコア(独自算出の注目度): 20.210674619796826
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: For deep learning, size is power. Massive neural nets trained on broad data
for a spectrum of tasks are at the forefront of artificial intelligence. These
foundation models or 'Jacks of All Trades' (JATs), when fine-tuned for
downstream tasks, are gaining importance in driving deep learning advancements.
However, environments with tight resource constraints, changing objectives and
intentions, or varied task requirements, could limit the real-world utility of
a singular JAT. Hence, in tandem with current trends towards building
increasingly large JATs, this paper conducts an initial exploration into
concepts underlying the creation of a diverse set of compact machine learning
model sets. Composed of many smaller and specialized models, we formulate the
Set of Sets to simultaneously fulfil many task settings and environmental
conditions. A means to arrive at such a set tractably in one pass of a
neuroevolutionary multitasking algorithm is presented for the first time,
bringing us closer to models that are collectively 'Masters of All Trades'.
- Abstract(参考訳): ディープラーニングでは、サイズはパワーです。
タスクの幅広いデータに基づいてトレーニングされた大量のニューラルネットは、人工知能の最前線にある。
これらの基礎モデルや、下流タスクの微調整を行う場合の「全貿易のジャック」は、深層学習の推進において重要になっている。
しかし、リソースの制約の厳しい環境、目的や意図の変更、タスク要求の変化は、特定のJATの現実的なユーティリティを制限する可能性がある。
そこで本論文は,大規模ジャットの構築に向けた最近のトレンドと合致して,多様なコンパクト機械学習モデルセットの作成の基礎となる概念を最初に検討する。
多くの小規模で特殊なモデルから成り、多くのタスク設定と環境条件を同時に満たすために集合の集合を定式化する。
神経進化的マルチタスクアルゴリズムの1パスにおいて、そのようなセットに到達可能な手段を初めて提示し、集合的に「すべての取引のマスター」であるモデルに近づく。
関連論文リスト
- Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent [2.410625015892047]
Jack of All Trades (JAT) は、シーケンシャルな意思決定タスクとマルチモーダルなデータタイプを扱うために最適化された、トランスフォーマーベースのモデルである。
JATは、そのタイプの最初のオープンソースモデルであり、先駆的な汎用データセットを含む。
論文 参考訳(メタデータ) (2024-02-15T10:01:55Z) - Generative Model for Models: Rapid DNN Customization for Diverse Tasks
and Resource Constraints [28.983470365172057]
NN-Factoryは、さまざまなエッジシナリオ用にカスタマイズされた軽量モデルを生成する、オールツーオールのフレームワークである。
NN-Factoryの主なコンポーネントは、異なるタスクを達成するために条件付きアクティベート可能な、事前訓練されたモジュールを備えたモジュラースーパーネットである。
NN-Factoryは、従来のモデルのカスタマイズアプローチよりも桁違いに高速で、数秒で高品質なタスクやリソース固有のモデルを生成することができる。
論文 参考訳(メタデータ) (2023-08-29T03:28:14Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳(メタデータ) (2023-06-29T17:59:57Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2023-03-20T19:20:34Z) - Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [69.03538086844516]
本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来のディープラーニング, 事前学習の成果を概観することにより, マルチモーダル事前学習の背景を紹介する。
次に,マルチモーダル事前学習モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワークアーキテクチャ,知識強化事前学習に着目して,MM-PTMについて議論する。
論文 参考訳(メタデータ) (2023-02-20T15:34:03Z) - Model Ratatouille: Recycling Diverse Models for Out-of-Distribution
Generalization [99.6826401545377]
ファウンデーションモデルは、AIシステムの構築方法を再定義している。実践者は、機械学習ソリューションを構築するための標準手順に従う。
我々は,多種多様な補助的タスクにおいて,同じ基礎モデルの複数の微調整をリサイクルする新しい戦略であるモデルラタトゥーイユを提案する。
論文 参考訳(メタデータ) (2022-12-20T17:21:46Z) - OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist
Models [72.8156832931841]
ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。
マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
論文 参考訳(メタデータ) (2022-12-08T17:07:09Z) - SAGE: Generating Symbolic Goals for Myopic Models in Deep Reinforcement
Learning [18.37286885057802]
従来使用できなかった不完全モデルのクラスを利用するための学習と計画を組み合わせたアルゴリズムを提案する。
これは、象徴的な計画とニューラルネットワークのアプローチの長所を、タクシーの世界とマインクラフトのバリエーションで競合する手法を上回る、新しい方法で組み合わせたものだ。
論文 参考訳(メタデータ) (2022-03-09T22:55:53Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳(メタデータ) (2022-02-28T16:07:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。