論文の概要: Prompt Algebra for Task Composition

• arxiv url: http://arxiv.org/abs/2306.00310v1
• Date: Thu, 1 Jun 2023 03:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 18:30:06.558484
• Title: Prompt Algebra for Task Composition
• Title（参考訳）: タスク合成のためのプロンプト代数
• Authors: Pramuditha Perera, Matthew Trager, Luca Zancato, Alessandro Achille, Stefano Soatto
• Abstract要約: 素早いチューニングを伴うビジュアル言語モデルを基本分類器として検討する。 合成分類器の性能向上のための制約付きプロンプトチューニングを提案する。 UTZapposでは、最高のベースモデルに対する分類精度を平均8.45%向上させる。
• 参考スコア（独自算出の注目度）: 131.97623832435812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether prompts learned independently for different tasks can be later combined through prompt algebra to obtain a model that supports composition of tasks. We consider Visual Language Models (VLM) with prompt tuning as our base classifier and formally define the notion of prompt algebra. We propose constrained prompt tuning to improve performance of the composite classifier. In the proposed scheme, prompts are constrained to appear in the lower dimensional subspace spanned by the basis vectors of the pre-trained vocabulary. Further regularization is added to ensure that the learned prompt is grounded correctly to the existing pre-trained vocabulary. We demonstrate the effectiveness of our method on object classification and object-attribute classification datasets. On average, our composite model obtains classification accuracy within 2.5% of the best base model. On UTZappos it improves classification accuracy over the best base model by 8.45% on average.
• Abstract（参考訳）: 異なるタスクに対して独立に学習したプロンプトが後からプロンプト代数によって結合され、タスクの構成をサポートするモデルが得られるかどうかを調べる。 我々は,プロンプトチューニングを用いた視覚言語モデル(VLM)を基本分類器として検討し,プロンプト代数の概念を正式に定義する。 合成分類器の性能向上のための制約付きプロンプトチューニングを提案する。 提案手法では,事前学習された語彙の基底ベクトルにまたがる低次元部分空間にプロンプトが現れるように制約される。 さらに規則化を加えて、学習したプロンプトが既存の訓練済み語彙に正しく接地されることを保証する。 本手法がオブジェクト分類およびオブジェクト属性分類データセットに与える影響を実証する。 総合モデルは平均して, 最良ベースモデルの2.5%以内の分類精度を得る。 UTZapposでは、最高のベースモデルの分類精度を平均8.45%向上させる。

関連論文リスト

• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Multiple Classifiers Based Maximum Classifier Discrepancy for Unsupervised Domain Adaptation [25.114533037440896]
  本稿では、2つの分類器の構造を複数の分類器に拡張し、その性能をさらに向上することを提案する。 平均的に、3つの分類器の構造を採用すると、精度と効率のトレードオフとして最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-02T03:00:13Z)
• Optimizing Black-box Metrics with Iterative Example Weighting [32.682652530189266]
  混乱行列のブラックボックス関数によって定義される分類基準を最適化する学習を検討する。 提案手法は,トレーニングデータセットのサンプル重みを適応的に学習し,その結果の重み付け目標が検証サンプルの計量値に最も近いようにすることである。
  論文  参考訳（メタデータ） (2021-02-18T17:19:09Z)
• Learning Better Sentence Representation with Syntax Information [0.0]
  構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。 本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
  論文  参考訳（メタデータ） (2021-01-09T12:15:08Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Diversity-Aware Weighted Majority Vote Classifier for Imbalanced Data [1.2944868613449219]
  多様性を考慮したアンサンブル学習に基づくアルゴリズム DAMVI を提案する。 本稿では, 予測保守作業, クレジットカード不正検出, ウェブページ分類, 医療応用に関する最先端モデルに関して, 提案手法の効率性を示す。
  論文  参考訳（メタデータ） (2020-04-16T11:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。