論文の概要: \`A-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting

• arxiv url: http://arxiv.org/abs/2302.07994v1
• Date: Wed, 15 Feb 2023 23:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 15:28:22.591136
• Title: \`A-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting
• Title（参考訳）: A-la-carte Prompt Tuning (APT): Composable Promptingによる個別データの組み合わせ
• Authors: Benjamin Bowman, Alessandro Achille, Luca Zancato, Matthew Trager, Pramuditha Perera, Giovanni Paolini, Stefano Soatto
• Abstract要約: A-la-carte Prompt Tuning (APT) は、異なるデータに基づいてプロンプトをチューニングするトランスフォーマーベースのスキームである。 我々は、a-la-carte構築モデルが、各ソースの結合に基づいてトレーニングされたモデルの5%の精度で達成できることを実証した。
• 参考スコア（独自算出の注目度）: 121.29093883566196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce \`A-la-carte Prompt Tuning (APT), a transformer-based scheme to tune prompts on distinct data so that they can be arbitrarily composed at inference time. The individual prompts can be trained in isolation, possibly on different devices, at different times, and on different distributions or domains. Furthermore each prompt only contains information about the subset of data it was exposed to during training. During inference, models can be assembled based on arbitrary selections of data sources, which we call "\`a-la-carte learning". \`A-la-carte learning enables constructing bespoke models specific to each user's individual access rights and preferences. We can add or remove information from the model by simply adding or removing the corresponding prompts without retraining from scratch. We demonstrate that \`a-la-carte built models achieve accuracy within $5\%$ of models trained on the union of the respective sources, with comparable cost in terms of training and inference time. For the continual learning benchmarks Split CIFAR-100 and CORe50, we achieve state-of-the-art performance.
• Abstract（参考訳）: A-la-carte Prompt Tuning (APT) は、異なるデータに対してプロンプトを任意に合成できるように、トランスフォーマーベースのスキームである。 個々のプロンプトは、異なるデバイス、異なる時間、異なるディストリビューションやドメインで、分離してトレーニングすることができる。 さらに各プロンプトには、トレーニング中に公開されたデータのサブセットに関する情報のみが含まれている。 推論の間、モデルは「\`a-la-carte learning」と呼ばれる任意のデータソースの選択に基づいて組み立てることができる。 A-la-carte学習は、各ユーザの個々のアクセス権と嗜好に特有のbespokeモデルの構築を可能にする。 私たちは、スクラッチから再トレーニングすることなく、対応するプロンプトを追加または削除するだけで、モデルから情報を追加または削除できます。 a-la-carte で構築されたモデルは,各ソースの結合に基づいてトレーニングされたモデルの 5 % の範囲内で,トレーニングや推論時間において同等のコストで精度を実現する。 連続学習ベンチマークである Split CIFAR-100 と CORe50 では,最先端の性能を実現する。

関連論文リスト

• Training Data Protection with Compositional Diffusion Models [99.46239561159953]
  比較拡散モデル(CDM)は、異なるデータソース上で異なる拡散モデル(またはプロンプト)を訓練する手法である。 個々のモデルは、独立した、異なるタイミングで、異なる分散とドメインでトレーニングすることができる。 各モデルには、トレーニング中に露出したデータのサブセットに関する情報のみが含まれており、いくつかの形式のトレーニングデータ保護を可能にする。
  論文  参考訳（メタデータ） (2023-08-02T23:27:49Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• Lightweight Self-Knowledge Distillation with Multi-source Information Fusion [3.107478665474057]
  知識蒸留(KD)は、ニューラルネットワークモデル間で知識を伝達する強力な技術である。 マルチソース情報を利用してより情報のある教師を構築する軽量なSKDフレームワークを提案する。 提案するDRG, DSR, およびそれらの組み合わせの性能を, 各種データセットおよびモデルに関する総合的な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-16T05:46:31Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning [44.604485649167216]
  フェデレートラーニング(FL)は、複数のクライアントがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。 多領域協調画像分類のためのフェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。
  論文  参考訳（メタデータ） (2022-11-15T03:10:05Z)
• LPT: Long-tailed Prompt Tuning for Image Classification [178.52948452353834]
  凍結事前訓練モデルに複数のトレーニング可能なプロンプトを導入し、長い尾を持つデータに適用する。 フェーズ1では、教師付きプロンプトチューニングを通じて共有プロンプトをトレーニングし、事前訓練されたモデルを所望の長尾領域に適応させる。 フェーズ2では、学習した共有プロンプトをクエリとして使用し、類似したサンプルのグループに対して、マッチした小さなベストセットを選択する。
  論文  参考訳（メタデータ） (2022-10-03T15:47:02Z)
• DST: Data Selection and joint Training for Learning with Noisy Labels [11.0375827306207]
  データ選択と共同トレーニング(DST)法を提案し、正確なアノテーションでトレーニングサンプルを自動的に選択します。 各イテレーションにおいて、正しいラベル付きラベルと予測されたラベルは、混合モデルからの確率によってそれぞれ重み付けされる。 CIFAR-10、CIFAR-100、Clothing1Mの実験では、DSTは最先端の手法に匹敵するか、優れていることを示した。
  論文  参考訳（メタデータ） (2021-03-01T07:23:58Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。