Fugu-MT 論文翻訳(概要): Projected Subnetworks Scale Adaptation

論文の概要: Projected Subnetworks Scale Adaptation

arxiv url: http://arxiv.org/abs/2301.11487v1
Date: Fri, 27 Jan 2023 01:40:56 GMT
ステータス: 処理完了
システム内更新日: 2023-01-30 16:49:47.009563
Title: Projected Subnetworks Scale Adaptation
Title（参考訳）: Projected Subnetworks Scale Adaptation
Authors: Siddhartha Datta, Nigel Shadbolt
Abstract要約: 大型モデルは、優れたゼロショットと少数ショット機能をサポートする。これらのモデルを新しいタスクで更新することは、以前の見たタスクとゼロ/フェールショットの未確認タスクのパフォーマンスを損なう可能性がある。本研究は,ゼロ/フェーショット学習者の更新方法を探究し,従来のタスクの目に見えるタスクと新しいタスクのパフォーマンスを維持できるようにした。
参考スコア（独自算出の注目度）: 8.782809316491948
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large models support great zero-shot and few-shot capabilities. However, updating these models on new tasks can break performance on previous seen tasks and their zero/few-shot unseen tasks. Our work explores how to update zero/few-shot learners such that they can maintain performance on seen/unseen tasks of previous tasks as well as new tasks. By manipulating the parameter updates of a gradient-based meta learner as the projected task-specific subnetworks, we show improvements for large models to retain seen and zero/few shot task performance in online settings.
Abstract（参考訳）: 大型モデルは、優れたゼロショットと少数ショット機能をサポートする。しかし、新しいタスクでこれらのモデルを更新すると、以前のタスクとゼロ/フェーショットの未発見タスクのパフォーマンスが損なわれる可能性がある。本研究は,ゼロ/フェーショット学習者の更新方法を探究し,従来のタスクの目に見えるタスクと新しいタスクのパフォーマンスを維持できるようにした。勾配型メタ学習器のパラメータ更新を投影タスク固有のサブネットワークとして操作することにより,オンライン環境での視認性とゼロ/フルショットのタスクパフォーマンスを維持するための大規模モデルの改善を示す。

関連論文リスト

LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文参考訳（メタデータ） (2024-10-22T16:26:05Z)
Controlling Forgetting with Test-Time Data in Continual Learning [15.455400390299593]
継続学習研究は、新しい知識が得られたときの過去の情報の破滅的な忘れを克服する技術を提供する。テストタイムデータには,従来の学習タスクのモデルメモリをリフレッシュするために,自己管理的な方法で活用できる優れた情報がある,と我々は主張する。
論文参考訳（メタデータ） (2024-06-19T15:56:21Z)
Efficient Rehearsal Free Zero Forgetting Continual Learning using Adaptive Weight Modulation [3.6683171094134805]
継続的な学習には、長期にわたって複数のタスクの知識を取得することが含まれる。この問題に対するほとんどのアプローチは、新しいタスクのパフォーマンスを最大化することと、以前のタスクの忘れを最小化することのバランスを求める。提案手法は,新しいタスクの性能を最大化しつつ,忘れることのゼロを保証しようとするものである。
論文参考訳（メタデータ） (2023-11-26T12:36:05Z)
Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks [9.82510084910641]
タスク境界において,タスクが終了し,他のタスク開始時に発生する新しいメカニズムを提案する。 CIFAR10やTinyImagenetなどのコンピュータビジョンデータセットのベンチマークで提案手法を評価する。
論文参考訳（メタデータ） (2023-11-02T22:00:23Z)
Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
論文参考訳（メタデータ） (2023-01-27T06:49:47Z)
Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
論文参考訳（メタデータ） (2022-07-28T21:09:31Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization [15.28478657477945]
タスクスケーリングとゼロショットプロンプトに着目し,ゼロショット一般化のためのZeroPromptを提案する。 FLOPでは,タスクスケーリングによってトレーニング効率が30倍向上することを示す。また、遺伝的アルゴリズムを組み込んだプロンプト手法を提案し、未知のタスクに対して最適なプロンプトを自動検索する。
論文参考訳（メタデータ） (2022-01-18T12:30:17Z)
Analysis and Prediction of NLP Models Via Task Embeddings [25.311690222754454]
我々は101ドルのNLPタスクのコレクションであるMetaEvalを提案する。学習した埋め込みを条件にしながら、単一のトランスフォーマーをすべてのMetaEvalタスクに共同で適合させます。結果として生じるタスクの埋め込みは、タスクの空間の新たな分析を可能にする。
論文参考訳（メタデータ） (2021-12-10T16:23:24Z)
Piggyback GAN: Efficient Lifelong Learning for Image Conditioned Generation [48.31909975623379]
コンボリューションフィルタとデコンボリューションフィルタのセットを構築することで,現在のタスクを学習するパラメータ効率の高いフレームワークであるPiggyback GANを提案する。現在のタスクでは,本モデルでは,パラメータ数が低いスタンドアロンモデルと同等の高次品質を実現している。異なるドメインのさまざまな画像コンディショニング生成タスクで Piggyback GAN を検証します。
論文参考訳（メタデータ） (2021-04-24T12:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。