論文の概要: Jack and Masters of all Trades: One-Pass Learning Sets of Model Sets From Large Pre-Trained Models

• arxiv url: http://arxiv.org/abs/2205.00671v3
• Date: Fri, 21 Jun 2024 13:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 20:54:41.648839
• Title: Jack and Masters of all Trades: One-Pass Learning Sets of Model Sets From Large Pre-Trained Models
• Title（参考訳）: ジャックとすべての取引のマスター: 大規模事前学習モデルからモデルセットを1段階学習する
• Authors: Han Xiang Choong, Yew-Soon Ong, Abhishek Gupta, Caishun Chen, Ray Lim,
• Abstract要約: 本稿では,コンパクトな機械学習モデルセットの作成の基礎となる概念を最初に検討する。 セットのセットは多くのタスク設定と環境条件を同時に満たすように定式化されている。 神経進化的マルチタスキングアルゴリズムの一パスにおいて、そのようなセットに確実に到達する手段を初めて提示する。
• 参考スコア（独自算出の注目度）: 25.006408668284898
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: For deep learning, size is power. Massive neural nets trained on broad data for a spectrum of tasks are at the forefront of artificial intelligence. These large pre-trained models or Jacks of All Trades (JATs), when fine-tuned for downstream tasks, are gaining importance in driving deep learning advancements. However, environments with tight resource constraints, changing objectives and intentions, or varied task requirements, could limit the real-world utility of a singular JAT. Hence, in tandem with current trends towards building increasingly large JATs, this paper conducts an initial exploration into concepts underlying the creation of a diverse set of compact machine learning model sets. Composed of many smaller and specialized models, the Set of Sets is formulated to simultaneously fulfil many task settings and environmental conditions. A means to arrive at such a set tractably in one pass of a neuroevolutionary multitasking algorithm is presented for the first time, bringing us closer to models that are collectively Masters of All Trades.
• Abstract（参考訳）: ディープラーニングにとって、サイズは力です。 タスクの幅広いデータに基づいてトレーニングされた大量のニューラルネットは、人工知能の最前線にある。 これらの大きな事前訓練されたモデルや、下流のタスクのために微調整されたジャッキ・オブ・オール・トレード(JAT)は、ディープラーニングの進歩を促進する上で重要になっている。 しかし、リソースの制約の厳しい環境、目的や意図の変更、タスク要求の変化は、特定のJATの現実的なユーティリティを制限する可能性がある。 そこで本研究では,より大規模なJATの構築に向けた現在のトレンドと合わせて,多種多様な機械学習モデルセットの作成の基礎となる概念を最初に検討する。 多くの小型で特殊なモデルで構成され、多くのタスク設定と環境条件を同時に満たすためにセットセットが定式化されている。 神経進化的マルチタスクアルゴリズムの1パスでそのようなセットに到達可能な手段を初めて提示し、すべての取引のマスターであるモデルに近づきます。

関連論文リスト

• Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent [2.3967405016776384]
  Jack of All Trades (JAT) は、シーケンシャルな意思決定タスクに最適化されたユニークな設計のトランスフォーマーベースのモデルである。 JATは、その種の最初のモデルはhttps://huggingface.co/jat-project/jatで完全にオープンソース化されている。
  論文  参考訳（メタデータ） (2024-02-15T10:01:55Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• PASTA: Pretrained Action-State Transformer Agents [10.654719072766495]
  自己教師型学習は、様々なコンピューティング領域において革命的なパラダイムシフトをもたらした。 最近のアプローチでは、大量のラベルのないデータに基づいて、トランスフォーマーモデルを事前訓練する。 強化学習において、研究者は最近これらのアプローチに適応し、専門家の軌道で事前訓練されたモデルを開発した。
  論文  参考訳（メタデータ） (2023-07-20T15:09:06Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
  マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。 本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・ 次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
  論文  参考訳（メタデータ） (2023-02-20T15:34:03Z)
• Model Ratatouille: Recycling Diverse Models for Out-of-Distribution Generalization [99.6826401545377]
  ファウンデーションモデルは、AIシステムの構築方法を再定義している。実践者は、機械学習ソリューションを構築するための標準手順に従う。 我々は,多種多様な補助的タスクにおいて,同じ基礎モデルの複数の微調整をリサイクルする新しい戦略であるモデルラタトゥーイユを提案する。
  論文  参考訳（メタデータ） (2022-12-20T17:21:46Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• SAGE: Generating Symbolic Goals for Myopic Models in Deep Reinforcement Learning [18.37286885057802]
  従来使用できなかった不完全モデルのクラスを利用するための学習と計画を組み合わせたアルゴリズムを提案する。 これは、象徴的な計画とニューラルネットワークのアプローチの長所を、タクシーの世界とマインクラフトのバリエーションで競合する手法を上回る、新しい方法で組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-03-09T22:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。