Fugu-MT 論文翻訳(概要): Prompt Learning via Meta-Regularization

論文の概要: Prompt Learning via Meta-Regularization

arxiv url: http://arxiv.org/abs/2404.00851v1
Date: Mon, 1 Apr 2024 01:42:23 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 01:31:23.557532
Title: Prompt Learning via Meta-Regularization
Title（参考訳）: メタレギュラー化によるプロンプト学習
Authors: Jinyoung Park, Juyeon Ko, Hyunwoo J. Kim,
Abstract要約: 本稿では,プロンプトメタ規則化(ProMetaR)を提案する。 ProMetaRは、正規化器とソフトプロンプトの両方をメタラーニングし、下流のタスクからタスク固有の知識と視覚言語モデルからタスクに依存しない一般的な知識を利用する。
参考スコア（独自算出の注目度）: 18.518214936430816
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pre-trained vision-language models have shown impressive success on various computer vision tasks with their zero-shot generalizability. Recently, prompt learning approaches have been explored to efficiently and effectively adapt the vision-language models to a variety of downstream tasks. However, most existing prompt learning methods suffer from task overfitting since the general knowledge of the pre-trained vision language models is forgotten while the prompts are finetuned on a small data set from a specific target task. To address this issue, we propose a Prompt Meta-Regularization (ProMetaR) to improve the generalizability of prompt learning for vision-language models. Specifically, ProMetaR meta-learns both the regularizer and the soft prompts to harness the task-specific knowledge from the downstream tasks and task-agnostic general knowledge from the vision-language models. Further, ProMetaR augments the task to generate multiple virtual tasks to alleviate the meta-overfitting. In addition, we provide the analysis to comprehend how ProMetaR improves the generalizability of prompt tuning in the perspective of the gradient alignment. Our extensive experiments demonstrate that our ProMetaR improves the generalizability of conventional prompt learning methods under base-to-base/base-to-new and domain generalization settings. The code of ProMetaR is available at https://github.com/mlvlab/ProMetaR.
Abstract（参考訳）: 事前学習された視覚言語モデルは、ゼロショットの一般化性で様々なコンピュータビジョンタスクで顕著な成功を収めている。近年,様々な下流タスクに視覚言語モデルを効果的かつ効果的に適用するために,迅速な学習手法が研究されている。しかし、既存のプロンプト学習手法の多くは、訓練済みの視覚言語モデルの一般的な知識が忘れられ、プロンプトは特定の目標タスクから設定された小さなデータセットに微調整されるため、タスク過適合に悩まされている。本稿では,ProMetaR(Prompt Meta-Regularization)を提案する。具体的には、ProMetaRは正規化器とソフトプロンプトの両方をメタラーニングし、下流のタスクからタスク固有の知識と視覚言語モデルからタスクに依存しない一般的な知識を活用する。さらに、ProMetaRはタスクを拡張して複数の仮想タスクを生成し、メタオーバーフィッティングを緩和する。さらに, 勾配アライメントの観点から, ProMetaR がプロンプトチューニングの一般化性をいかに改善するかを理解するための解析を行う。我々のProMetaRは,ベース・ツー・ベース・トゥ・ベース・トゥ・ベース・ツー・ドメインの一般化設定の下で,従来のプロンプト学習手法の一般化性を向上することを示した。 ProMetaRのコードはhttps://github.com/mlvlab/ProMetaRで公開されている。

関連論文リスト

Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
論文参考訳（メタデータ） (2024-02-05T00:48:56Z)
Meta Omnium: A Benchmark for General-Purpose Learning-to-Learn [15.0841751679151]
複数のビジョンタスクにまたがるデータセットであるMeta Omniumを紹介する。我々は、タスクをまたいで一般化し、それらの間の知識を伝達する能力を分析する。
論文参考訳（メタデータ） (2023-05-12T17:25:19Z)
Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization [40.45470744120691]
MEta-gradient regularization for few-shot generalization (SUPMER)による自己改善メタプロンプト学習フレームワーク本稿では,Meta-gradient regularization for few-shot generalization (SUPMER)を用いた自己改善メタプロンプト学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-22T05:04:21Z)
Meta Learning to Bridge Vision and Language Models for Multimodal Few-Shot Learning [38.37682598345653]
視覚モデルと言語モデルとのギャップを埋めるために,マルチモーダルなメタ学習手法を導入する。我々は,凍結した大規模視覚と言語モデルを効率的にブリッジするためにメタラーナーとして機能するメタマッパーネットワークを定義する。我々は,最近提案されたマルチモーダル・スショット・ベンチマークに対するアプローチを評価し,新しい視覚概念を単語に結合する速度を計測した。
論文参考訳（メタデータ） (2023-02-28T17:46:18Z)
Learning to Initialize: Can Meta Learning Improve Cross-task Generalization in Prompt Tuning? [37.522581151997734]
タスク毎に追加のトークン列の埋め込みをチューニングするプロンプトチューニング(PT)は、数ショット学習において顕著なパフォーマンスを示している。我々はメタプロンプト・チューニング(MPT)について研究し、メタ学習が(可能であれば)クロスタスクの一般化にどう役立つかを探る。
論文参考訳（メタデータ） (2023-02-16T08:37:22Z)
Multitask Vision-Language Prompt Tuning [103.5967011236282]
マルチタスク視覚言語プロンプトチューニング(MV)を提案する。 MVはクロスタスクの知識を視覚言語モデルの迅速なチューニングに取り入れている。 20個の視覚タスクの結果、提案手法は全ての単一タスクのベースライン・プロンプト・チューニング法より優れていることが示された。
論文参考訳（メタデータ） (2022-11-21T18:41:44Z)
Boosting Natural Language Generation from Instructions with Meta-Learning [43.64522457686405]
最近の研究によると、言語モデル(LM)はマルチタスクで訓練されている。 Textitinstructional Learning (MTIL) は多様なNLPを解くことができる。即時チューニングよりもパフォーマンスが向上したタスク。本稿では,MTILに適用したメタラーニングが,ゼロショット設定における未確認タスクへの一般化をさらに改善できるかどうかを検討する。
論文参考訳（メタデータ） (2022-10-20T22:23:23Z)
Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
論文参考訳（メタデータ） (2022-08-16T17:17:53Z)
Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
論文参考訳（メタデータ） (2021-07-06T04:05:08Z)
Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文参考訳（メタデータ） (2020-07-26T01:50:42Z)
Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。